Hadoop的map方法和爬虫结合行不行,会不会产生多线程,多机器爬虫的叠加效果

wha37 发布于 2016/06/28 15:51
阅读 167
收藏 0

鲲鹏开发者成长训练营,学练结合,技能一站式进阶,赢华为手机等好礼!>>>

Hadoop的map方法和爬虫结合行不行,会不会产生多线程,多机器爬虫的叠加效果

我利用haddoop的集群的Mapper extends Mapper<LongWritable, Text, Text, LongWritable>方法,

在map上写个爬虫方法

加载中
0
HeartArea
HeartArea
当然可以写,本身也不会多线程,但是你要做聚合个人认为不太合适。
0
pseudo
pseudo
好像会吧,我也很奇怪,mark下
返回顶部
顶部