Hadoop入门教程：基于Java API实现作业提交

Hadoop入门教程：基于Java API实现作业提交，在2.4.1中讲到Java接口的词频统计程序在编译时需要打包为wordcount.jar包文件，现在使用Hadoop的提交命令就可以将在本地编译并打包好的程序提交到Hadoop集群运行，提交的脚本命令如下：

#!/bin/bash

#提交运行脚本

HADOOP_VERSION=1.0.4

jar_path = /usr/nuoline/wordcount/wordcount.jar #用户程序所在目录

HADOOP_HOME=/home/nuoline/hadoop-$HADOOP_VERSION

input=/usr/nuoline/wordcount/input #HDFS中的输入路径

output=/usr/nuoline/wordcount/output #是HDFS中的输出路径

$HADOOP_HOME/bin/hadoop jar $jar_path MyWordCount $input $output

在提交的脚本中至少需要指定HADOOP_HOME环境变量，同时还需要指定编译打包好的jar文件目录，执行命令后先根据HADOOP_HOME得到conf目录的配置文件，再确定提交集群的属性参数。

CUUG 优技培训

中国Oracle培训领航专家

CUUG －CHINA UNIX USER GROUP，是国际UNIX组织UNIFORUM的中国代表，是国内悠久的专业UNIX培训机构，被誉为中国UNIX 的摇篮。

金牌讲师

行业资深实战专家让学习就像在就业

展开

实操环境

让每一个DBA课程学员有真正的实操练习

院校合作

学校新闻

行业新闻

在线预约抢先报名获取课程排期

请输入您的手机号

申请试听