怎么处理jobtracker单点问题?

whpcrs 发布于 2013/08/08 09:02
阅读 329
收藏 0
安装的hadoop版本为1.2.1稳定版


收集了相关资料,主要有3种说法:


1.jobtracker挂掉后重启后,在文件系统中保留了未完成的job,jobtracker会重新启动未完成的job.


2.设置mapred.jobtracker.restart.recover后,jobtracker会调用recover()方法恢复,但是由于缓存不及时会导致BUG,解决方法是对log4j新增一个appender支持周期性地刷新log到磁盘,可惜只有这么一句话,我完全不知道怎么弄。


3.CHD4有比较完善的jobtracker HA处理方案,不过不是稳定版,上面的人不愿用


这么看来只能用第一种方法,重启jobtracker虽然效率不行,但是比较安全,可是那样我不是什么都不用做,重启(start-all.sh)就ok了么?


不知道我的看法有没有什么问题?请教下各位对这个问题采取什么方案?谢谢!
加载中
0
d
dbtop

hadoop这东西一般做数据分析,从安全起见分析没有必要要求实时,那么建议是jobtracker出问题了后就从来作业重新执行。

顺便说吧,问题2肯定是存在的。

0
w
whpcrs

引用来自“dbtop”的答案

hadoop这东西一般做数据分析,从安全起见分析没有必要要求实时,那么建议是jobtracker出问题了后就从来作业重新执行。

顺便说吧,问题2肯定是存在的。

作业重新执行,是指jobtracker重启后自动执行未成功的作业,还是指j用户重新提交作业?如果是前一种的话,有没有什么方案让jobstracker自动重启?

w
whpcrs
回复 @dbtop : 设置为ture会有潜在的安全问题,设置为false手动重启jobtracker,jobtracker自动重新启动失败的作业,是这样吗?有没有什么方案让jobtracker自动重启呢?
d
dbtop
mapred.jobtracker.restart.recover true时JT重启之前运行的job可以在jobtracker restart之后恢复,false则需要重新运行。
0
w
whpcrs
论坛好冷清啊。。没有什么人么??
返回顶部
顶部