at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)

jack_peng 发布于 2013/09/12 00:25
阅读 482
收藏 0

运行hadoop 统计学生成绩的例子 就报了这个错,都不做的错在哪里 ,郁闷了 ,想跟踪都不怎么下手,求大神指点江山。console 报的错:

13/09/12 00:15:20 INFO mapred.JobClient:  map 0% reduce 0%
13/09/12 00:15:31 INFO mapred.JobClient: Task Id : attempt_201309112309_0010_m_000000_0, Status : FAILED
java.lang.NullPointerException
    at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:970)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:673)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

看这个就知道是一个空指针,其他的啥子信息都没用,然后看logs日志 :

13/09/12 00:15:20 INFO mapred.JobClient:  map 0% reduce 0%
13/09/12 00:15:31 INFO mapred.JobClient: Task Id : attempt_201309112309_0010_m_000000_0, Status : FAILED
java.lang.NullPointerException
    at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:970)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:673)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

只能看到是那个任务上有错 ,但不知道why?求哥些指点指点,谢谢了


加载中
0
首席安全砖家
首席安全砖家
UserGroupInformation.java:11 行 ,这里看下
jack_peng
jack_peng
要的 ,我看下
首席安全砖家
首席安全砖家
回复 @jack_peng : hadoop 没用过..问题看起来应该是在11行这里,你看下是什么操作
jack_peng
jack_peng
我昨天还运行过程序,而我用的root用户登陆的 ,应该不会是用户组权限
jack_peng
jack_peng
我跟下断点看看
0
王瑞平
王瑞平
  1. 大体判断是MAP里关于用户组的设置出错了
0
王瑞平
王瑞平
应该是权限问题
返回顶部
顶部