hadoop的namenode日志文件一直报错增大

阿斯大声 发布于 2016/07/28 15:59
阅读 371
收藏 0
2016-07-27 20:12:39,919 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2016-07-27 20:12:39,919 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 17.78 MB
2016-07-27 20:12:39,919 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2016-07-27 20:12:39,919 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2016-07-27 20:12:39,936 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=test
2016-07-27 20:12:39,936 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup
2016-07-27 20:12:39,936 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2016-07-27 20:12:39,939 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2016-07-27 20:12:39,939 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
2016-07-27 20:12:39,967 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2016-07-27 20:12:39,979 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2016-07-27 20:12:39,984 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 1
2016-07-27 20:12:39,987 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 0
2016-07-27 20:12:39,987 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 110 loaded in 0 seconds.
2016-07-27 20:12:39,987 INFO org.apache.hadoop.hdfs.server.common.Storage: Edits file /home/test/hadoopdata/dfs/name/current/edits of size 4 edits # 0 loaded in 0 seconds.
2016-07-27 20:12:39,988 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 110 saved in 0 seconds.
2016-07-27 20:12:40,028 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 110 saved in 0 seconds.
2016-07-27 20:12:40,050 INFO org.apache.hadoop.hdfs.server.namenode.NameCache: initialized with 0 entries 0 lookups
2016-07-27 20:12:40,050 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Finished loading FSImage in 120 msecs
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Total number of blocks = 0
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Number of invalid blocks = 0
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Number of under-replicated blocks = 0
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Number of  over-replicated blocks = 0
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode termination scan for invalid, over- and under-replicated blocks completed in 5 msec
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 0 secs.
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.StateChange: STATE* Network topology has 0 racks and 0 datanodes
2016-07-27 20:12:40,056 INFO org.apache.hadoop.hdfs.StateChange: STATE* UnderReplicatedBlocks has 0 blocks
2016-07-27 20:12:40,060 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: ReplicateQueue QueueProcessingStatistics: First cycle completed 0 blocks in 0 msec
2016-07-27 20:12:40,060 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: ReplicateQueue QueueProcessingStatistics: Queue flush completed 0 blocks in 0 msec processing time, 0 msec clock time, 1 cycles
2016-07-27 20:12:40,060 INFO org.apache.hadoop.util.HostsFileReader: Refreshing hosts (include/exclude) list
2016-07-27 20:12:40,060 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: InvalidateQueue QueueProcessingStatistics: First cycle completed 0 blocks in 0 msec
2016-07-27 20:12:40,060 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: InvalidateQueue QueueProcessingStatistics: Queue flush completed 0 blocks in 0 msec processing time, 0 msec clock time, 1 cycles
2016-07-27 20:12:40,063 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source FSNamesystemMetrics registered.
2016-07-27 20:12:40,071 INFO org.apache.hadoop.ipc.Server: Starting SocketReader
2016-07-27 20:12:40,072 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcDetailedActivityForPort9000 registered.
2016-07-27 20:12:40,073 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcActivityForPort9000 registered.
2016-07-27 20:12:40,074 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Namenode up at: hadoop-cloud-master1/192.168.1.190:9000
2016-07-27 20:12:40,108 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2016-07-27 20:12:40,148 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2016-07-27 20:12:40,154 INFO org.apache.hadoop.http.HttpServer: dfs.webhdfs.enabled = false
2016-07-27 20:12:40,158 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50070
2016-07-27 20:12:40,159 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50070 webServer.getConnectors()[0].getLocalPort() returned 50070
2016-07-27 20:12:40,159 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50070
2016-07-27 20:12:40,160 INFO org.mortbay.log: jetty-6.1.26
2016-07-27 20:12:40,447 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50070
2016-07-27 20:12:40,448 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: 0.0.0.0:50070
2016-07-27 20:12:40,452 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2016-07-27 20:12:40,457 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 9000: starting
2016-07-27 20:12:40,465 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 9000: starting
2016-07-27 20:12:40,469 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000: starting
2016-07-27 20:12:40,476 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000: starting
2016-07-27 20:12:40,480 INFO org.apache.hadoop.ipc.Server: IPC Server handler 3 on 9000: starting
2016-07-27 20:12:40,488 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 9000: starting
2016-07-27 20:12:40,490 INFO org.apache.hadoop.ipc.Server: IPC Server handler 5 on 9000: starting
2016-07-27 20:12:40,490 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 9000: starting
2016-07-27 20:12:40,490 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on 9000: starting
2016-07-27 20:12:40,490 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 9000: starting
2016-07-27 20:12:40,500 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 9000: starting
2016-07-27 20:12:40,952 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 9000: readAndProcess threw exception java.lang.IllegalArgumentException: Empty key. Count of bytes read: 0
java.lang.IllegalArgumentException: Empty key
at javax.crypto.spec.SecretKeySpec.<init>(SecretKeySpec.java:97)
at org.apache.hadoop.security.token.SecretManager.createSecretKey(SecretManager.java:147)
at org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager.createSecretKey(AbstractDelegationTokenSecretManager.java:330)
at org.apache.hadoop.security.token.delegation.DelegationKey.readFields(DelegationKey.java:93)
at org.apache.hadoop.hdfs.security.token.block.ExportedBlockKeys.readFields(ExportedBlockKeys.java:104)
at org.apache.hadoop.hdfs.server.protocol.DatanodeRegistration.readFields(DatanodeRegistration.java:131)
at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:237)
at org.apache.hadoop.ipc.RPC$Invocation.readFields(RPC.java:102)
at org.apache.hadoop.ipc.Server$Connection.processData(Server.java:1303)
at org.apache.hadoop.ipc.Server$Connection.processOneRpc(Server.java:1282)
at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1182)
at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:537)
at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:344)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
运行环境是ubuntu 14.04,JDK是1.7,之后一直循环出现 empty key的错误,启动的时候namenode没有启动,其日志文件一直增大 ,启动的是secondarynamenode,求大神解答
加载中
返回顶部
顶部