mrjob 在hdfs上跑

隔壁的流氓王欧巴 发布于 2015/12/30 22:55
阅读 632
收藏 0

是这样的,我照着网上的教程写好了一个用mrjob模块的mapreduce的python程序,名字叫word.py

在我的hdfs上 /test/bible   bible是一个文档,在本地测试的时候扔到word.py里面是可以被计算出单词术的。


我想请问一下,我怎么让这个word.py运行在hadoop的mapreduce上,我看到网页上写的是 python word.py hadoop -r <input >  output

请各位大神教我一下。。。要求是输入文件和输出文件都在hdfs上进行。。。条件上面已经给出了。。。谢

加载中
1
路过的好心人1

python word.py -r hadoop hdfs:///test/bible -o hdfs:///test/output/

0
隔壁的流氓王欧巴
隔壁的流氓王欧巴

求各位大哥。。。回答一下。。。

返回顶部
顶部