当前位置: 首页 > news >正文

Hudi 系列(二)- 编译 hudi


编译 hudi

如果是第一次编译 hudi 会花很长时间,maven 本地仓库为空的情况下,我花了40分钟(视网络环境)。编译步骤如下:

  • 下载 releace 源代码,https://hudi.apache.org/releases,现在的最新版本是0.7.0 。
  • 安装 maven ,maven 的版本选择 3.6.3 。
  • 配置 maven 的 setting.xml 为中央仓库增加里面增加 aliyun 的 mirror 仓库 。
  • 修改 hudi 项目 pom.xml 里面增加 aliyun repository 。
  • 删除项目 pom.xml 中和 repo.spring.io 相关的 repository ,不然编译会出错,详见:https://github.com/apache/hudi/pull/2481,https://github.com/apache/hudi/pull/2481/commits/f67acf4d51010704188977b5090ef9c20325860f 。
  • 执行 mvn package -DskipTests 开始编译 。

编译成功后,会看到如下信息:

[INFO] Reactor Summary for Hudi 0.7.0:
[INFO] 
[INFO] Hudi ............................................... SUCCESS [  5.237 s]
[INFO] hudi-common ........................................ SUCCESS [ 22.062 s]
[INFO] hudi-timeline-service .............................. SUCCESS [  2.297 s]
[INFO] hudi-client ........................................ SUCCESS [  0.136 s]
[INFO] hudi-client-common ................................. SUCCESS [  4.842 s]
[INFO] hudi-hadoop-mr ..................................... SUCCESS [  4.118 s]
[INFO] hudi-spark-client .................................. SUCCESS [  9.274 s]
[INFO] hudi-sync-common ................................... SUCCESS [  1.117 s]
[INFO] hudi-hive-sync ..................................... SUCCESS [  3.633 s]
[INFO] hudi-spark-datasource .............................. SUCCESS [  0.147 s]
[INFO] hudi-spark-common .................................. SUCCESS [  5.556 s]
[INFO] hudi-spark2_2.11 ................................... SUCCESS [  3.694 s]
[INFO] hudi-spark3_2.12 ................................... SUCCESS [  5.367 s]
[INFO] hudi-spark_2.11 .................................... SUCCESS [ 15.311 s]
[INFO] hudi-utilities_2.11 ................................ SUCCESS [  6.966 s]
[INFO] hudi-utilities-bundle_2.11 ......................... SUCCESS [ 21.478 s]
[INFO] hudi-cli ........................................... SUCCESS [ 12.717 s]
[INFO] hudi-java-client ................................... SUCCESS [  2.497 s]
[INFO] hudi-flink-client .................................. SUCCESS [  7.377 s]
[INFO] hudi-dla-sync ...................................... SUCCESS [  3.680 s]
[INFO] hudi-sync .......................................... SUCCESS [  0.069 s]
[INFO] hudi-hadoop-mr-bundle .............................. SUCCESS [ 20.377 s]
[INFO] hudi-hive-sync-bundle .............................. SUCCESS [  4.636 s]
[INFO] hudi-spark-bundle_2.11 ............................. SUCCESS [ 18.165 s]
[INFO] hudi-presto-bundle ................................. SUCCESS [ 11.876 s]
[INFO] hudi-timeline-server-bundle ........................ SUCCESS [ 11.303 s]
[INFO] hudi-hadoop-docker ................................. SUCCESS [  4.424 s]
[INFO] hudi-hadoop-base-docker ............................ SUCCESS [  1.532 s]
[INFO] hudi-hadoop-namenode-docker ........................ SUCCESS [  1.259 s]
[INFO] hudi-hadoop-datanode-docker ........................ SUCCESS [  1.476 s]
[INFO] hudi-hadoop-history-docker ......................... SUCCESS [  1.917 s]
[INFO] hudi-hadoop-hive-docker ............................ SUCCESS [  7.409 s]
[INFO] hudi-hadoop-sparkbase-docker ....................... SUCCESS [  1.876 s]
[INFO] hudi-hadoop-sparkmaster-docker ..................... SUCCESS [  1.319 s]
[INFO] hudi-hadoop-sparkworker-docker ..................... SUCCESS [  1.461 s]
[INFO] hudi-hadoop-sparkadhoc-docker ...................... SUCCESS [  1.776 s]
[INFO] hudi-hadoop-presto-docker .......................... SUCCESS [  1.577 s]
[INFO] hudi-integ-test .................................... SUCCESS [ 35.448 s]
[INFO] hudi-integ-test-bundle ............................. SUCCESS [03:10 min]
[INFO] hudi-examples ...................................... SUCCESS [ 28.104 s]
[INFO] hudi-flink_2.11 .................................... SUCCESS [ 13.175 s]
[INFO] hudi-flink-bundle_2.11 ............................. SUCCESS [ 24.294 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  08:42 min
[INFO] Finished at: 2021-01-27T16:35:12+08:00
[INFO] ------------------------------------------------------------------------

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.exyb.cn/news/show-2670.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

<form>标签

HTML-表单 1. 在HTML标签中,<form>标签用来定义表单&#xff0c;来实现用户信息的收集和传递。 <form action"url地址" method"提交的方式" name"表单的名称"></form> 比较get和post&#xff1a; 2. 表单能够包含 input 元…...

.NET 6程序部署到Docker

使用Docker部署应用程序 首先确保已经安装Docker 桌面软件&#xff0c;如下图&#xff1a; 然后&#xff0c;把需要部署到Docker上面的项目&#xff0c;咱们先添加Docker的支持&#xff0c;启动项目右键 -> 添加 -> Docker支持&#xff0c;选择 Linux 然后会自动生成Doc…...

HTML5详解 (前端)

什么是HTML 超文本标记语言 Hyper Text Markup Language W3C 万维网联盟 标准包括&#xff1a; 结构化标准语言&#xff08;HTML、XML&#xff09;表现标准语言&#xff08;CSS&#xff09;和行为标准&#xff08;DOM、ECMAScript&#xff09; 新建project HTML 删除SRC文件…...

VR垃圾分类_VR环保科普_VR垃圾分类综合解决方案

随着人类生活质量水平的提高&#xff0c;人类生存的环境在不可逆转的变化&#xff0c;自然保护和生态安全越来越引人注目。全球气候变暖、自然灾害频繁&#xff0c;使得保护生态环境迫在眉睫。聚象科技VR环保模拟系统&#xff0c;使体验者“进入”生态环境&#xff0c;身临其境…...

python的matplotlib的常用绘图函数模版

import matplotlib.pyplot as plt # from mpl_toolkits.mplot3d import Axes3D import matplotlib as mpl import numpy as np import pandas as pd import time plt.rcParams[font.sans-serif][simhei]#用于正常显示中文标签 plt.rcParams[axes.unicode_minus]False#用于正常显…...

Python 模块导入 import ...\from... import...

代码越来越多的时候&#xff0c;我们将代码写到一个.py 文件里&#xff0c;随着代码的增加&#xff0c;代码的维护越来越困难。如果将代码按照不同的功能拆分放到不同的.py文件中&#xff0c;每个.py文件就是一个模块。 不同模块中的变量名可以相同&#xff0c;他们不会受影响…...

盘点golang中的开发神器

本文已收录 https://github.com/lkxiaolou/lkxiaolou 欢迎star。 在Java中&#xff0c;我们用Junit做单元测试&#xff0c;用JMH做性能基准测试&#xff08;benchmark&#xff09;&#xff0c;用async-profiler剖析cpu性能&#xff0c;用jstack、jmap、arthas等来排查问题。 作…...

监控系统实践第12天:5天上手Laravel8.5之路由篇(1/5)

监控系统实践第12天&#xff1a;5天上手Laravel8.5之路由篇&#xff08;1/5&#xff09;前言安装与配置Laravel基础功能&#xff1a;路由(Route)路由是什么&#xff1f;设置路由的请求方式定义路由的路径定义路由的内容闭包中定义内容控制器中定义内容视图中定义内容其它内容的…...

前端常见跨域解决方案(全)

文章目录什么是跨域&#xff1f;什么是同源策略&#xff1f;同源策略限制以下几种行为常见跨域场景跨域解决方案一、 通过jsonp跨域二、 document.domain iframe跨域三、 location.hash iframe跨域四、 window.name iframe跨域五、 postMessage跨域六、 跨域资源共享&#x…...

因为一个字符校对问题,我的大厂面试挂了

摘要&#xff1a;字符集是一套符号和编码。校对规则是在字符集内用于比较字符的一套规则。 本文分享自华为云社区《一个字符校对规则引发的血案》&#xff0c;原文作者&#xff1a;DRS技术快客 。 问题现场 我们先看一个建表语句 CREATE TABLE collate_test ( val1 char(32…...

SVN常用命令集合_艾孜尔江撰

在平时的工作中我们大多数情况下喜欢使用Tortoise SVN之类的可视化版本控制工具&#xff0c;但笔者发现&#xff0c;命令行的方式进行版本控制在执行速度上将会更快一些。尽管在大多数情况下使用命令行并不是很方便&#xff0c;但只要用户习惯了&#xff0c;就非常顺畅了。针对…...

力扣刷题:动态规划篇

目录322. 零钱兑换题目介绍题目实现5. 最长回文子串题目介绍题目实现518. 零钱兑换 II题目介绍题目实现53. 最大子序和题目介绍题目实现63. 不同路径 II题目介绍[62. 不同路径](https://leetcode-cn.com/problems/unique-paths/)题目实现70. 爬楼梯题目介绍题目实现72. 编辑距离…...

c++程序设计中虚基类,多继承知识点

一.前言 如上 二.题目 分别声明Teacher(教师)类和Cadre(干部)类&#xff0c;采用多重继承方式由这两个类派 生出新类Teacher_Cadre(教师兼干部&#xff09;类。要求&#xff1a; &#xff08;1)在两个基类中都包含姓名、年龄、性别、地址、电话等数据成员。 &#xff08;2&a…...

FFmpeg:avcodec_encode_video()

本文简单分析FFmpeg的avcodec_encode_video2()函数。该函数用于编码一帧视频数据。avcodec_encode_video2()函数的声明位于libavcodec\avcodec.h&#xff0c;如下所示。 /*** Encode a frame of video.** Takes input raw video data from frame and writes the next output p…...

SpringBoot中必须掌握的45个注解

1.SpringBoot/spring SpringBootApplication: 包含Configuration、EnableAutoConfiguration、ComponentScan通常用在主类上&#xff1b; Repository: 用于标注数据访问组件&#xff0c;即DAO组件&#xff1b; Service: 用于标注业务层组件&#xff1b; RestController: …...

侯捷CPP---面向对象(上)

侯捷CPP---面向对象&#xff08;上&#xff09;前言头文件防卫式声明class 分类不带指针的class&#xff08;complex&#xff09;成员变量私有化inline function&#xff08;内联函数&#xff09;构造函数常量成员函数参数传递返回值传递友元函数操作符重载临时对象带指针的cla…...

使用注解开发

1&#xff1b; 2.mapper 2.测试...

苏宁易购启动六一宝宝节,首提“共情消费”

5月26日晚8点&#xff0c;苏宁易购六一宝宝节掰头大会在多个平台播出。六一宝宝节全面启动。 六一宝宝节定位于打破营销套路&#xff0c;打破传统电商促销节奏。它是大促&#xff0c;更是一场成年人释放压力、共情消费的盛典。 掰头大会灵魂辩题 开启宝宝节 六一宝宝节的启…...

设计一个windows应用程序,定义一个Student类,包含学号和姓名两个字段,并定义一个班级类ClassList

设计一个windows应用程序&#xff0c;定义一个Student类&#xff0c;包含学号和姓名两个字段&#xff0c;并定义一个班级类ClassList&#xff0c;该类包含一个Student集合&#xff0c;使用索引器访问该集合。 &#xff08;1&#xff09;创建一个Windows应用程序Myproject6_1。 …...

python笔记19年8月23日

-------------py打包exe教程------------ 准备好需要转换的py文件和一张用于做图标.ico的照片 将他们存放于同一个文件夹中,文件的路径全部为英文路径 1.利用cmd窗口安装pyinstaller插件 指令 :pip install pyinstaller 2.使用cd指令到py文件夹 3.执行命令 pyinstaller -F -i X…...

因为一个字符校对问题,我的大厂面试挂了

摘要&#xff1a;字符集是一套符号和编码。校对规则是在字符集内用于比较字符的一套规则。 本文分享自华为云社区《一个字符校对规则引发的血案》&#xff0c;原文作者&#xff1a;DRS技术快客 。 问题现场 我们先看一个建表语句 CREATE TABLE collate_test ( val1 char(32…...

jvm学习参考资料

参考资料 本书名为“深入理解Java虚拟机”&#xff0c;但要想真的深入理解虚拟机&#xff0c;仅凭一本书肯定是远远不够的&#xff0c; 读者可以通过以下方式查找到更多关于Java虚拟机方面的资料。笔者在写作此书的时候&#xff0c;也从下面这 些参考资料中得到过很大的帮助。 …...

监控系统实践第12天:5天上手Laravel8.5之路由篇(1/5)

监控系统实践第12天&#xff1a;5天上手Laravel8.5之路由篇&#xff08;1/5&#xff09;前言安装与配置Laravel基础功能&#xff1a;路由(Route)路由是什么&#xff1f;设置路由的请求方式定义路由的路径定义路由的内容闭包中定义内容控制器中定义内容视图中定义内容其它内容的…...

今日早报 每日精选12条新闻简报 每天一分钟 知晓天下事 6月1日

今日早报|每日晨报|每日简报|热点新闻简报|一分钟简报|每日早报精选12条新闻简报 今日早报——365资讯简报&#xff0c;每天精选12条热点新闻简报1条微语&#xff0c;每天一分钟&#xff0c;知晓天下事&#xff01; 2021年6月1日 星期二 农历四月廿一 儿童节 1、新修订《未成…...

windowes 虚拟机添加 Mac os 时,运行 Starting VMware services...闪退

先以 管理员身份 运行cmd 然后进入到脚本所在目录&#xff0c;运行目录即可...

while 循环语法结构

<!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta http-equiv"X-UA-Compatible" content"IEedge"> <meta name"viewport" content"widthdevice-width, initi...

LeetCode每日一题 - 有多少小于当前数字的数字

题目&#xff1a; 给你一个数组 nums&#xff0c;对于其中每个元素 nums[i]&#xff0c;请你统计数组中比它小的所有数字的数目。 换而言之&#xff0c;对于每个 nums[i] 你必须计算出有效的 j 的数量&#xff0c;其中 j 满足 j ! i 且 nums[j] < nums[i] 。 以数组形式返回…...

SVN常用命令集合_艾孜尔江撰

在平时的工作中我们大多数情况下喜欢使用Tortoise SVN之类的可视化版本控制工具&#xff0c;但笔者发现&#xff0c;命令行的方式进行版本控制在执行速度上将会更快一些。尽管在大多数情况下使用命令行并不是很方便&#xff0c;但只要用户习惯了&#xff0c;就非常顺畅了。针对…...

2021java1年经验公司面试真题

1面我就省略了&#xff0c;主要就是看你的以前工作情况&#xff0c;以前工作内容能不能清晰表达&#xff0c;还有一些简单的java基础问题&#xff0c;大概20多分钟。二面就是40分钟基础&#xff0c;20分钟业务&#xff0c;10分钟个人情况。下面是二面问题 1.自我介绍 做一下自…...

十四、Python第十四课——文件和异常

&#xff08;请先看这篇文章&#xff1a;https://blog.csdn.net/GenuineMonster/article/details/104495419&#xff09; 如果看完这篇博文&#xff0c;你的问题还是没有解决&#xff0c;那么请关注我的公众号&#xff0c;后台发消息给我吧&#xff0c;当天回复&#x…...

厦门python培训机构排名榜

中国联通混改方案发布后动作频频&#xff0c;先是出台机构精简方案&#xff0c;9月25日又在北京成立联通大数据有限公司&#xff08;下称大数据公司&#xff09;。 联通集团副总经理姜正新表示&#xff0c;大数据公司定位于中国联通大数据对外集中运营主体和大数据产业拓展的合…...

运动品牌推荐:2022年最值得入手的一些运动装备

运动是一个比较枯燥的过程&#xff0c;不断的身体重复&#xff0c;会让运动者的注意力过度的关注到自己身体的疲惫感并且放大&#xff0c;这个时候我们就可以通过外在的运动装备来消除这些疲劳感&#xff0c;提高自己的运动积极性。不过哪些运动装备好用并适合自己呢&#xff1…...

PMP培训机构怎么选?

个人之前在报考PMP机构的时候也存在同样的问题&#xff0c;各种渠道翻看了各种文章评论&#xff0c;最后还是通过自己询问选择了中创。 这里就作为过来人给大家一些小建议&#xff0c;也希望你们的PMP之路少掉一些坑和套路。 首先报考PMP认证需要报培训机构&#xff1a;给你提…...

进入Ubuntu系统Grub修改unix密码并加密

Tencent Yun OS 被黑了&#xff0c;密码找不回来&#xff0c;重置密码之后出现问题&#xff1a;输入用户名以及密码敲回车之后&#xff0c;登录界面瞬间刷新&#xff0c;好像显示了点什么&#xff0c;但速度过快看不到。 技术支持建议从Grub进入单用户模式进行排查&#xff0c…...

linux进入单用户模式改密码,1.4linux单用户模式下修改root密码和救援模式修改root密码...

在忘记root密码无法登入系统的情况下&#xff0c;有两种修改root密码的方法。第一种&#xff1a;进入单用户模式下&#xff0c;直接修改root密码&#xff0c;前提是grub没有设置密码。第二种&#xff1a;使用安装光盘启动&#xff0c;进入救援模式更改root密码。一、单用户模式…...

3404: [Usaco2009 Open]Cow Digit Game又见数字游戏 (博弈论)

http://www.locoso.com/info/2mtt6f7 http://www.locoso.com/info/9mtt6f7 http://www.locoso.com/info/iw883ci http://www.locoso.com/info/c4z83ci http://www.locoso.com/info/iaz83ci http://www.locoso.com/info/vmvt6f7 http://www.locoso.com/info/xqrjbyd http://www...

18.5 重载全局new、delete、定位new及重载等

一&#xff1a;重载全局operator new和operator delete操作符 #include <iostream>using namespace std;void* operator new(size_t size) {return malloc(size); }void* operator new[](size_t size) //数组版本 {return malloc(size); }void operator delete(void* p…...

Vijos P1757 逆序对 (动态规划)

http://www.locoso.com/info/4aag4gi http://www.locoso.com/info/6m29s97 http://www.locoso.com/info/2m29s97 http://www.locoso.com/info/9m29s97 http://www.locoso.com/info/6v29s97 http://www.locoso.com/info/4zag4gi http://www.locoso.com/info/tv29s97 http://www...

1680: [Usaco2005 Mar]Yogurt factory (贪心)

http://www.locoso.com/company/h11xbxd http://www.locoso.com/company/i44g3gi http://www.locoso.com/company/s2s9697 http://www.locoso.com/company/22s9697 http://www.locoso.com/company/9ms9697 http://www.locoso.com/company/0vs9697 http://www.locoso.com/compa...

2818: Gcd (欧拉函数)

http://www.locoso.com/info/0m26297 http://www.locoso.com/info/mv26297 http://www.locoso.com/info/fv26297 http://www.locoso.com/info/5wa3agi http://www.locoso.com/info/t926297 http://www.locoso.com/info/z353agi http://www.locoso.com/info/b1qbhxd http://www...

1098: [POI2007]办公楼biu (bfs+链表)

http://www.locoso.com/company/92vtf97 http://www.locoso.com/company/i5z8cgi http://www.locoso.com/company/bqrjyxd http://www.locoso.com/company/hjrjyxd http://www.locoso.com/company/69vtf97 http://www.locoso.com/company/07vtf97 http://www.locoso.com/compa...

1146: [CTSC2008]网络管理Network (线段树套平衡树+二分+树链剖分)

http://www.locoso.com/company/99fssf7 http://www.locoso.com/company/433a4ci http://www.locoso.com/company/v662sf7 http://www.locoso.com/company/st62sf7 http://www.locoso.com/company/s762sf7 http://www.locoso.com/company/m962sf7 http://www.locoso.com/compa...

Spring 笔记

Spring 笔记 1、Spring&#xff08;2021-1-27&#xff09; 1.1 简介 Spring&#xff1a;春天------>给软件行业带来了春天&#xff01;2002&#xff0c;首次推出了Spring框架的雏形&#xff1a;interface21框架&#xff01;Spring框架即以interface21框架为基础&#xff…...

4.11

<?xml version"1.0" encoding"UTF-8"?> <module type"JAVA_MODULE" version"4"><component name"FacetManager"><facet type"web" name"Web"><configuration><desc…...

geogebra画一段椭圆

使用Arc(a,B,C)命令&#xff0c;a是椭圆图形对象&#xff0c;B是椭圆上的起点&#xff0c;C是终点&#xff0c;绘图是逆时针绘图的 具体如下图 首先&#xff0c;先画出完整的椭圆图形c&#xff0c;在c上描点D和E&#xff0c;分别做弧线...

SpringBoot+Mybaits搭建通用管理系统实例十一:数据缓存功能实现

一、本章内容 使用ehcache实现系统缓存功能,并配置实现mybatis的二级缓存,自定义分页缓存的key,识别实体类型,并根据实体属性的配置,组合生成key值用于标识缓存数据。 完整课程地址二、开发视频 SpringBoot+Mybaits搭建通用管理系统实例三:缓存管理功能实现 三、缓存配置 …...

c++画直线、矩形、圆、椭圆

c画图 1、画直线 line(src, p1, p2, color, thickness, typeline) // src:图像&#xff0c;p1:起始点&#xff0c;p2:终止点&#xff0c;color:颜色&#xff0c;thickness:线宽&#xff0c;typeline&#xff1a;线型。 2、画矩形 rectangle(src, rect, color, thickness, type…...

几何画板椭圆九种画法_椭圆的画法几何画板的动画演示

展开全部椭圆在数学中占有一定的比重&#xff0c;是中学时代必学的圆锥曲线32313133353236313431303231363533e58685e5aeb931333365653162之一&#xff0c;也是历来考试的重点和难点。几何画板作为专业的几何绘图工具&#xff0c;可以用来画椭圆图形。方法一、确定中心法步骤一…...

c语言 椭圆,C语言画圆椭圆

C语言画圆椭圆C语言画图实验代码&#xff0c;包含画直线&#xff0c;画圆&#xff0c;椭圆#include "graphics.h"#include "conio.h"#include "dos.h"#include "math.h"#include "stdio.h"/* 直线中点算法*/void midpointli…...

matlab绘制一组椭圆,在MATLAB中绘制椭圆和椭圆体

Ellipse文章Wikipedia有一个简单的JavaScript代码绘制椭圆.它使用参数形式&#xff1a;x(theta) a0 ax*sin(theta) bx*cos(theta)y(theta) b0 ay*sin(theta) by*cos(theta)哪里(a0,b0) is the center of the ellipse(ax,ay) vector representing the major axis(bx,by) v…...