hadoop ResourceManager无法启动

hoodlake 发布于 2014/04/07 23:19
阅读 15K+
收藏 0

自己在搭建hadoop 2.2.0的环境,过程中遇到了一个问题,就是sbin/start-yarn.sh无法启动ResourceManager

1.运行 sbin/start-dfs.sh,成功启动NameNode,SecondaryNameNode以及DataNode(分别在三台机器上)

2.运行sbin/start-yarn.sh,成功启动slaves上的NodeManager进程,但是ResourceManager却没能启动起来!启动信息如下:
starting yarn daemons

starting resourcemanager, logging to /cluster/hadoop-2.2.0/logs/yarn-root-resourcemanager-namenode.hadoop.ymxx.out
datanodenodemanager.hadoop.ymxx: starting nodemanager, logging to /cluster/hadoop-2.2.0/logs/yarn-root-nodemanager-datanodenodemanager.hadoop.ymxx.out

郁闷的是,从启动信息来看,并没有报错,但就是没有成功启动ResourceManager,然后根据启动信息查看日志文件,也看不错什么错误来,很是郁闷,日志信息如下:
ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7922
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 7922
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
日志并没有什么不对的地方(或许有,但我看不出来),很纠结。要是报个错,我好歹还能查,可是它不报错啊,怎么办呢。     

贴上我对ResouceManager的配置信息:yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>resourcemanager.hadoop.ymxx:18032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>resourcemanager.hadoop.ymxx:18030</value>
       </property>
       <property>
               <name>yarn.resourcemanager.resource-tracker.address</name>
               <value>resourcemanager.hadoop.ymxx:18031</value>
       </property>
       <property>
               <name>yarn.resourcemanager.admin.address</name>
               <value>resourcemanager.hadoop.ymxx:18033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>resourcemanager.hadoop.ymxx:18088</value>
       </property>
</configuration>
所有的操作都是在root用户下进行的,各个机器之间ssh无密码通信是正常的。
系统是centos 6.5 32位,jdk是1.7.0_51 32位
配置的/etc/hosts信息如下:(一共用了5台机器)

127.0.0.1         localhost localhost.localdomain localhost4 localhost4.localdomain4
::1                   localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.180   namenode.hadoop.ymxx
192.168.1.181   resourcemanager.hadoop.ymxx
192.168.1.182   mrjobhistoryserver.hadoop.ymxx
192.168.1.183   datanodenodemanager.hadoop.ymxx
192.168.1.184   secondarynamenode.hadoop.ymxx

以下是问题补充:

@hoodlake:个人的感觉是:yarn-site.xml这个配置文件好像没起作用,因为我就算把这个文件改的乱七八糟,到处都是语法错误,对于start-yarn.sh而言,还是我行我素,start-yarn.sh好像根本就没理会yarn-site.xml这个配置文件 (2014/04/07 23:24)
加载中
0
震秦
震秦

把log贴上来看看,不是out文件,是log文件

tail -n200 logs/yarn-${user.name}-resourcemanager-${host}.local.log



hoodlake
hoodlake
你好,谢谢关注,我看了日志文件,说是地址绑定失败,google下,说是Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。现在问题解决了,多谢提醒
返回顶部
顶部