前辈请教一下,我的flume断点续传实现不了?

纸条333 发布于 2015/06/06 18:32
阅读 972
收藏 1

@xrzs 你好,想跟你请教个问题:

我用前辈博客上写的/usr/local/bin/tail -n +$(tail -n1 /home/storm/tmp/n) --max-unchanged-stats=600 -F /home/storm/tmp/id.txt | awk 'ARNGIND==1{i=$0;next}{i++; if($0~/文件已截断/)i=0; print i >> "/home/storm/tmp/n";print $1"---"i}' /home/storm/tmp/n -

时实现不了断点续传,它不收集数据,也没有任何提示

加载中
0
漓江
漓江

你好,断点续传的话,是从文件开始重新进行数据读取,除非你程序里做了事务判断,当出现异常的话,会有扫尾处理。

一般的话,flume读取的文件结束后,会在文件名末尾追加[.COMPLETED]

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部