开源问答 技术问答
正文

多线程爬取数据方案？请问

唐代de豆腐 发布于 2013/05/21 23:55
阅读 506
收藏 2
答案 5
threadpool
 【推荐阅读】滴滴出行的数据架构和信息流处理思路解析->>>   

大家好，请教一个与爬虫相关的问题。

目前我的需求是对固定的URL上面的资源抓取网页，保存为本地文件。最后对文件进行全文索引。

（每年定期更新，后台执行。数据记录大概有10-20w条）

我想到的几个技术点是：

1.多线程抓取

2.全文索引

技术点

线程池+httpclient+lucene

问题：

抓取效率如何保证?任务队列怎么实现。怎么方法把任务拆分，线程数量有限。谢谢大家。

收藏 (2)
举报
加载中
最多投票 最新
0
自风
自风
2013/05/22 00:42
可以参考下 Spiderman 的设计思想，完全开放源代码的。
评论 (0) 引用此答案 举报
0
唐代de豆腐
唐代de豆腐
2013/05/22 07:54
是不是这样实现 ，首先解析得到所有url ，存放在队列当中。


然后开启线程去抓取。


当所有任务执行成功后，最后使用lucene建立索引。


大家觉得正确嘛?谢谢
评论 (0) 引用此答案 举报
0
断鸿
断鸿
2013/05/22 08:18

单靠队列其实还不够，要考虑url去重的问题，可以用BlockingQueue做url缓存，各个线程爬到新url后先写到队列中，然后队列线程来控制队列中的url异步写入url数据库，比如说Berkeley DB，这时可以做个布隆过滤器去重，这样不会阻碍爬虫线程继续从url库中取url继续爬


评论 (0) 引用此答案 举报
0
石头上的常春藤
石头上的常春藤
2013/05/22 10:04

建议你把上面这个问题简化为 “开源网页爬虫（线程池+httpclient） + lucene”。

开源网页爬虫网上有太多了。目前我自己在用crawler4j，支持多线程爬取，有源码扩展方便，效果还不错。

评论 (0) 引用此答案 举报
0
kiwivip
kiwivip
2013/05/22 10:22
就更新20w条...单线程1天就够了，啥策略都不用，第二天直接覆盖，简单暴力
评论 (0) 引用此答案 举报
唐代de豆腐
唐代de豆腐
最近登录：09/12 09:00
全部

唐代de豆腐的其他提问

已经不写代码了，进入保险行业了。
30 回答
4K+ 阅读
Mac获取本地IP超慢
0 回答
387 阅读
自定义Javadoclet 如何获取返回值中的泛型。求解
2 回答
324 阅读
XStream xml 转java出错
0 回答
388 阅读
Java Null对象
1 回答
249 阅读

类似问题

33款可用来抓数据的开源爬虫软件工具
2 回答
7078 阅读
了解搜索引擎技术
0 回答
156 阅读
[IBM DW] 利用 Heritrix 构建特定站点爬虫
2 回答
2389 阅读
垂直爬虫工作流程详解
2 回答
6299 阅读
【开源访谈】 Spiderman作者赖伟威访谈实录
12 回答
3142 阅读
Nutch爬虫工作流程及文件格式详细分析
4 回答
7669 阅读
Nutch爬虫工作流程及文件格式详细分析
0 回答
692 阅读
使用python爬虫抓站的一些技巧总结：进阶篇
0 回答
124 阅读
快速构建实时抓取集群
0 回答
1287 阅读
OSChina 的全文搜索设计说明 —— 索引过程
58 回答
15577 阅读
搜索引擎的原理
0 回答
248 阅读
【转】从Larbin看互联网爬虫设计
0 回答
5445 阅读
java 多线程资源占用高
11 回答
963 阅读
Linux IP代理筛选系统（shell+proxy）
0 回答
531 阅读
一个多线程应用的最佳示例
0 回答
28 阅读
返回顶部
顶部