Hadoop系统实际运行的时候是不是都是用命令行执行的?Hadoop和Java的联系有哪些?

文心雕码 发布于 2014/10/13 03:11
阅读 994
收藏 2
我这两天装了一下Hadoop2.2的集群,用了Yarn和Zookeeper,执行Mapreduce的时候都是用命令行,比如hadoop jar mapreduceExample.jar /user/root/data/source.txt /user/root/output/result

当然我估计实际使用的时候还会用到Flume、HBase等技术,但是实际的Hadoop系统是什么样的?都是用命令行人工执行的?

还有Hadoop和Java的关系是不是就是用Java写Mapreduce的程序,然后把jar部署到Hadoop中运行,Hadoop和Java的联系是不是就这些?

加载中
0
悟空太多啦
悟空太多啦

1、不知道你说的是hadoop系统还是hadoop的管理系统。hadoop也有很多不同的发行版,有些发行版是带有管理系统,比如cloudera的cloudera manager。apache上的hadoop是官方发行版,开源的,没有特别完善的管理系统,只有namenode和mapreduce的一些管理画面,都比较粗糙。

2、Java写的MapReduce程序只是实现分析的一种办法,还可以通过pig等方式。

0
大连馋师
大连馋师

实际的Hadoop系统是什么样的?都是用命令行人工执行的?--------- 额是脚本后台执行,自动运行,jar包中是线程循环。

0
文心雕码
文心雕码

引用来自“悟空太多啦”的评论

1、不知道你说的是hadoop系统还是hadoop的管理系统。hadoop也有很多不同的发行版,有些发行版是带有管理系统,比如cloudera的cloudera manager。apache上的hadoop是官方发行版,开源的,没有特别完善的管理系统,只有namenode和mapreduce的一些管理画面,都比较粗糙。

2、Java写的MapReduce程序只是实现分析的一种办法,还可以通过pig等方式。

原来如此 谢谢啦
返回顶部
顶部