加载中

WebCrawler - 网站数据采集工具

WebCrawler 是一个网站数据采集工具,使用 scrapy 框架。 环境准备 [Scrapy] (http://scrapy.org/) [MongoDB] (https://www.mo...

收藏 4

Sherlock Social - 社交网络帐号爬虫

Sherlock 是一款网络爬虫工具,可根据输入的用户名爬取对应的社交帐号,目前支持 300 多个不同社交平台。 用法 $ python3 sherlock --help usage: s...

收藏 31
更新于 2022/02/05
Sherlock Social

lightcrawler - 轻型爬虫

lightcrawler 可以抓取网站并通过 Google lighthouse 运行网站。 npm install --save-dev lightcrawler lightcrawler ...

收藏 3

AppCrawler - 基于 Appium 的 App 自动遍历工具

AppCrawler 是一个基于自动遍历的 App 爬虫工具。支持 Android 和 iOS,支持真机和模拟器。最大的特点是灵活性,可通过配置来设定遍历的规则。 为什么做这个工具 各大云市场上...

收藏 4

Spider Admin Pro - Scrapy 可视化管理和定时调度

Spider Admin Pro Github: https://github.com/mouday/spider-admin-pro Gitee: https://gitee.com/moud...

收藏 17

Asyncpy - 异步请求框架

Asyncpy 是基于 asyncio 和 aiohttp 开发的一个轻便高效的爬虫框架,采用了 scrapy 的设计模式,参考了 github 上一些开源框架的处理逻辑。 更多详细内容可参考d...

收藏 5

ListPage - 列表页爬虫

ListPage 是专门用于爬取或操作列表式网页的页面类,基于 DrissionPage。页面类抽象了列表式页面基本特征,封装了常用方法。 只需少量设置即可进行爬取或页面操作,实现可复用、可扩展...

收藏 7

INFO-SPIDER - 爬虫工具箱

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解...

收藏 111
更新于 2020/09/13
INFO-SPIDER

Crawlab Lite - 爬虫管理平台

Crawlab 的轻量版本,基于 Golang 的爬虫管理平台,支持任意语言编写的爬虫。 相比较 Crawlab,该版本专注于单机上的爬虫管理,平台运行不依赖任何的外部数据库,去除了大量非必要功...

收藏 44
更新于 2020/07/15

novelTools - 小说下载和在线阅读工具

小说工具 novelTools 是一款小说下载和在线阅读的爬虫工具。他可以让我们收藏自己喜欢的小说,实现本地化的、无广告的畅读体验。 它采用 Pyhon Scrapy 框架,实现了小说信息采集,...

收藏 35

robotstxt-rust - 基于 Rust 的 robots.txt 解析器

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt。 特点如下: 原生Rust代码实现,不依赖任何第三方库 0 unsafe代码 保留所有...

收藏 2

SpiderAdmin - 爬虫项目可视化管理工具

SpiderAdmin,一个集爬虫 Scrapy+Scrapyd 爬虫项目查看 和 爬虫任务定时调度的可视化管理工具。 功能介绍 1. 对 Scrapyd 接口进行可视化封装,对 Scrapy ...

收藏 68

vsplider - 影视资源库

影视资源库(站点+采集)。采用 python 语言,基于 tornado 框架、MySql 数据库(peewee 模块操作 mysql),自带网络爬虫程序。 基于layui的管理后台

收藏 40

2019nCoV-Crawler - 新型肺炎疫情数据爬虫

爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知。 数据源来自“丁香园” :https://3g.dxy.cn/newh5/view/pneumonia_peopleapp?from=tim...

收藏 6

http-proxy-pool - 网站代理工具

http-proxy-pool 是一个流量代理工具。 对于代理地址,期望是越多越好,但是对于代理质量有着更高的要求,宁缺勿滥,因此proxy-pool不再将抓取到的代理地址保存至数据库,而调整为...

收藏 17
开源软件作者
Vrails 作者
MockAjax 作者

wind-bell - 轻量级的爬虫工具

wind-bell 风铃虫是一款轻量级的爬虫工具,似风铃一样灵敏,如蜘蛛一般敏捷,能感知任何细小的风吹草动,轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序,内置了二十余种常见或不...

收藏 191
更新于 2020/10/10

Dodder - 分布式 DHT 网络爬虫

________ _________________ ___ __ \___________ /_____ /____________ __ / / / __ \ __...

收藏 18

GNE-JS - 新闻网页正文通用抽取器

GNE-JS 是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。 在论文中描述的正文提取基础上,还增加了标题、发布时间和文章作者的自动化探测与提取功能。 该项目启发...

收藏 14

GNE - 新闻网页正文通用抽取器

GNE 是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。 在论文中描述的正文提取基础上,还增加了标题、发布时间和文章作者的自动化探测与提取功能。 最后的输出效果如...

收藏 169
更新于 2019/09/27

spider-flow - 爬虫平台

spider-flow,新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。 特性 支持Xpath/JsonPath/css选择器/正则提取/混搭提取 支持JSON/XML/二进制格...

收藏 398
更新于 2020/04/13
spider-flow

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
返回顶部
顶部