2
回答
Hadoop的map方法和爬虫结合行不行,会不会产生多线程,多机器爬虫的叠加效果
百度AI开发者大赛带你边学边开发,赢100万奖金,加群:418589053   

Hadoop的map方法和爬虫结合行不行,会不会产生多线程,多机器爬虫的叠加效果

我利用haddoop的集群的Mapper extends Mapper<LongWritable, Text, Text, LongWritable>方法,

在map上写个爬虫方法

举报
bindao58
发帖于2年前 2回/130阅
顶部