2
回答
hadoop扫描日志文件dncp_block_verification.log.prev可以删除吗?
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   

初接手一个hadoop项目的维护,发现20T的datanode已经只有 不到1T的剩余空间了,找了下,发现

目录 /data/hdfs/dfsdata/current/BP-2130229945-10.123.125.126-1414127351845 下有两个文件 dncp_block_verification.log.curr 和 dncp_block_verification.log.prev

我看 dncp_block_verification.log.prev 这个文件很大很大,都有好几个T了。

在网上查了知道里面是DataBlockScanner扫描日志文件,不知道里面的内容可不可以删除掉呢?我网上搜了一圈,还是不确定,特来向各位大拿确定。

举报
antti
发帖于1年前 2回/360阅
共有2个答案 最后回答: 1年前

dncp_block_verification.log.curr和dncp_block_verification.log.prev,它记录了一些DataNode对文件系定时统做一致性检查需要的信息。

DataBlockScanner是datanode上很重要的部分,用于周期性地对块文件进行校验,当客户端读取整个块时,也会通知DataBlockScanner校验结果。

采用滚动日志方式,只有当前行数curNumLines超过最大行数maxNumLines,并且距离上次滚动日志的时间
超过minRollingPeriod时,才将dncp_block_verification.log.curr重命名为dncp_block_verification.log.prev,将新的日志写到dncp_block_verification.log.curr中。

可以看出prev是旧的日志,也就是个备份,重点还是在curr中。

顶部