DenseSpider 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
DenseSpider 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
DenseSpider 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 MPL
开发语言 Google Go
操作系统 跨平台
软件类型 开源软件
所属分类 应用工具网络爬虫
开源组织
地区 国产
投 递 者 从前
适用人群 未知
收录时间 2015-09-06

软件简介

本项目 fork 项目go_spider,github:https://github.com/hu17889/go_spider ,因此项目架构的部分文档可以参考此项目。

同时项目架构、部分思路参考了 python 的经典爬虫scrapy。

    基本结构:

Spider模块(主控)
Downloader模块(下载器)
PageProcesser模块(页面分析)
History(Url采集历史记录)
Scheduler模块(任务队列)
Pipeline模块(结果输出)

    主要Feature:

1. 基于Go语言的并发采集
2. 页面下载、分析、持久化模块化,可自定义扩展
3. 采集日志记录(Mongodb支持)
4. 页面数据自定义存储(Mysql、Mongodb)
5. 深度遍历,同时可自定义深度层次
6. Xpath解析

    主要用于定向采集网站。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
5 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部