Hive提交任务过程十分的慢的问题

管家公 发布于 2014/10/27 17:01
阅读 909
收藏 0
我用的版本是CDH4.1.2的,基于yarn的hadoop集群,集群规模不大,就10台,最近碰到一个问题,请各位帮忙看看,谢谢了。
在hive中执行一条sql语句,我用hive -hiveconf hive.root.logger=DEBUG,console打印出它的日志,如下:
14/10/27 09:51:57 INFO ql.Driver: <PERFLOG method=releaseLocks>
14/10/27 09:51:57 INFO ql.Driver: </PERFLOG method=releaseLocks start=1414374717140 end=1414374717140 duration=0>
14/10/27 09:51:57 INFO ql.Driver: </PERFLOG method=Driver.run start=1414374717102 end=1414374717140 duration=38>
14/10/27 09:51:57  INFO CliDriver: Time taken: 0.038 seconds
hive> select settle_date,count(1) from t_ods_cash_payment where settle_date_month='201410' group by settle_date order by settle_date;
14/10/27 09:54:01  INFO ql.Driver: <PERFLOG method=Driver.run>
14/10/27 09:54:01 INFO ql.Driver: <PERFLOG method=TimeToSubmit>
14/10/27 09:54:01 INFO ql.Driver: <PERFLOG method=compile>

可以从客户端cli提交到resourcemanager,足足花了3分钟时间。
然后检查了防火墙(关闭的),hdfs和yarn的状况是好的,各子节点运行也是正常的(通过web页面查看),接口机的线程数也调到足够大了,各机器的内存、cpu和磁盘负载都不是很大,网络也是正常的,配置文件也正常。
然后自己写了一个wordcount,放到集群去执行,提交任务过程还是很慢,可以排除hive的问题,看来是yarn的问题,但重启过服务还是不行,请问各位有碰到过这样的情况吗?
加载中
返回顶部
顶部