hadoop流命令

Moose_Wang 发布于 2017/03/29 15:18
阅读 144
收藏 0

在Hadoop用户下测试流命令:

hadoop版本:2.7.3

hadoop jar /usr/hadoop/share/hadoop/tools/sources/hadoop-streaming-2.7.3-test-sources.jar -input /usr/hadoop/dfs/data/input/ -Output /usr/hadoop/dfs/data/output/ -mapper cat -reduce wc

说明:

输入目录:/usr/hadoop/dfs/data/input/ 里面存在文件readme.txt,包含测试内容

输出目录:/usr/hadoop/dfs/data/output/

流jar包存放位置:/usr/hadoop/share/hadoop/tools/sources/hadoop-streaming-2.7.3-sources.jar

但是该语句执行过程中报错:

已经确认几个文件目录不存在问题,求教这个问题出在哪里,并且该如何解决呢?谢谢!

加载中
0
为为02
为为02
hadoop jar命令需要jar包在 hadoop-env.sh脚本里指定的classpath环境变量目录之下,不能执行非classpath下的jar包。
返回顶部
顶部