中国唯一一家专业只做ARACLE认证和BDA实训的甲骨文金牌合作企业

网络授课

技术沙龙

Hadoop基础教程:编译Hadoop源代码

在Linux环境下编译源代码之前,需进行以下准备工作:

确保安装的Maven版本在3.0.2以上;

Protocol Buffers安装版本为2.5.0;

如果要启用findbugs,则需确认已经安装了Findbugs;

如果要编译native code,则需确认安装了CMake 2.6或者更新版本;

第一次编译代码,需确认可以连接互联网(Maven要从代码库中下载依赖包)。

Maven编译命令如表1-2所示。

Maven编译命令

如果仅编译生成JAR包而无须编译native code、测试用例和生成文档,可在Hadoop安装目录下并输入以下命令(推荐使用该命令编译Hadoop源代码):

mvn package -Pdist -DskipTests -Dtar

如果编译JAR包、native code并生成文档,可使用以下命令:

mvn package -Pdist,native,docs -DskipTests -Dtar

每个子模块编译后生成的JAR包放到了与源代码目录平级的target目录中,比如ResourceManager的源代码目录是:

${YARN_HOME}/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src

它对应生成JAR包放在了以下目录中:

${YARN_HOME}/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/target

如果修改了某个模块的代码,可编译后,将对应的JAR包覆盖到${HADOOP_HOME} /share/hadoop目录中对应的JAR包上。

如果仅编译Hadoop的某一个子模块,需将该模块依赖的JAR包作为它的第三方库引入。一种简单的实现方式是在Hadoop安装目录下输入以下命令编译所有源代码:

mvn install -DskipTests

然后进入子模块目录,编译生成对应的JAR包。

CUUG 优技培训

中国oracle培训领航专家

CUUG -CHINA UNIX USER GROUP,是国际UNIX组织UNIFORUM的中国代表,是国内悠久的专业UNIX培训机构,被誉为中国UNIX 的摇篮。

金牌讲师

行业资深实战专家 让学习就像在就业
展开

实操环境

让每一个dba课程学员有真正的实操练习

让每一个dba课程学员有真正的实操练习

让每一个dba课程学员有真正的实操练习

让每一个dba课程学员有真正的实操练习

院校合作

学校新闻

行业新闻

在线预约 抢先报名 获取课程排期

请输入您的手机号

申请试听
版权所有:北京神脑资讯科技有限公司
地址:北京市海淀区紫竹花园4号楼D座703
全国免费咨询电话:400-0909-964
电话:010-59426307 ,邮政编码:100089
E-mail:cuug_bj@cuug.com
拨打电话
在线咨询
首页