开源问答 技术问答
正文

多线程爬取数据方案？请问

唐代de豆腐 发布于 2013/05/21 23:55
阅读 525
收藏 2
答案 5
threadpool

大家好，请教一个与爬虫相关的问题。

目前我的需求是对固定的URL上面的资源抓取网页，保存为本地文件。最后对文件进行全文索引。

（每年定期更新，后台执行。数据记录大概有10-20w条）

我想到的几个技术点是：

1.多线程抓取

2.全文索引

技术点

线程池+httpclient+lucene

问题：

抓取效率如何保证?任务队列怎么实现。怎么方法把任务拆分，线程数量有限。谢谢大家。

收藏 (2)
举报
加载中
最多投票 最新
0
自风
自风
2013/05/22 00:42
可以参考下 Spiderman 的设计思想，完全开放源代码的。
评论 (0) 引用此答案 举报
0
唐代de豆腐
唐代de豆腐
2013/05/22 07:54
是不是这样实现 ，首先解析得到所有url ，存放在队列当中。


然后开启线程去抓取。


当所有任务执行成功后，最后使用lucene建立索引。


大家觉得正确嘛?谢谢
评论 (0) 引用此答案 举报
0
断鸿
断鸿
2013/05/22 08:18

单靠队列其实还不够，要考虑url去重的问题，可以用BlockingQueue做url缓存，各个线程爬到新url后先写到队列中，然后队列线程来控制队列中的url异步写入url数据库，比如说Berkeley DB，这时可以做个布隆过滤器去重，这样不会阻碍爬虫线程继续从url库中取url继续爬


评论 (0) 引用此答案 举报
0
石头上的常春藤
石头上的常春藤
2013/05/22 10:04

建议你把上面这个问题简化为 “开源网页爬虫（线程池+httpclient） + lucene”。

开源网页爬虫网上有太多了。目前我自己在用crawler4j，支持多线程爬取，有源码扩展方便，效果还不错。

评论 (0) 引用此答案 举报
0
kiwivip
kiwivip
2013/05/22 10:22
就更新20w条...单线程1天就够了，啥策略都不用，第二天直接覆盖，简单暴力
评论 (0) 引用此答案 举报
唐代de豆腐
唐代de豆腐
最近登录：01/14 19:54
全部

唐代de豆腐的其他提问

已经不写代码了，进入保险行业了。
30 回答
4K+ 阅读
Mac获取本地IP超慢
0 回答
567 阅读
自定义Javadoclet 如何获取返回值中的泛型。求解
2 回答
489 阅读
XStream xml 转java出错
0 回答
451 阅读
Java Null对象
1 回答
294 阅读

类似问题

33款可用来抓数据的开源爬虫软件工具
2 回答
8111 阅读
了解搜索引擎技术
0 回答
210 阅读
[IBM DW] 利用 Heritrix 构建特定站点爬虫
2 回答
2439 阅读
【开源访谈】 Spiderman作者赖伟威访谈实录
12 回答
3324 阅读
垂直爬虫工作流程详解
2 回答
6576 阅读
Nutch爬虫工作流程及文件格式详细分析
0 回答
707 阅读
Nutch爬虫工作流程及文件格式详细分析
4 回答
7714 阅读
深圳-推荐个合适的工作
53 回答
4277 阅读
使用python爬虫抓站的一些技巧总结：进阶篇
0 回答
192 阅读
快速构建实时抓取集群
0 回答
1317 阅读
OSChina 的全文搜索设计说明 —— 索引过程
58 回答
15748 阅读
【转】从Larbin看互联网爬虫设计
0 回答
5495 阅读
搜索引擎的原理
0 回答
297 阅读
Linux IP代理筛选系统（shell+proxy）
0 回答
568 阅读
使用Scrapy构建一个网络爬虫
0 回答
176 阅读
OSCHINA
登录后可查看更多优质内容
使用微信快捷登录
ad close
返回顶部
顶部