EasySpider是一款完全免费和开源的可视化爬虫软件，此软件可以让大家使用图形化界面，无代码可视化的设计和执行爬虫任务。 只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和...

Maigret 是一个基于用户 ID 爬取其在互联网上相关帐号的爬虫。它通过用户名收集对应帐号的档案，在大量的网站上检查此帐号，并从网页上收集所有可用的信息，不需要 API 密钥。 Maigre...

depth-crawler 是一个三级页面定向爬取工具。 功能 1.在python中运用scrapy框架定向爬取至三级页面，保存html页面内容与链接为xlsx表格 2.将xlsx表格内容存至e...

WebCrawler 是一个网站数据采集工具，使用 scrapy 框架。 环境准备 [Scrapy] (http://scrapy.org/) [MongoDB] (https://www.mo...

Sherlock 是一款网络爬虫工具，可根据输入的用户名爬取对应的社交帐号，目前支持 300 多个不同社交平台。 用法 $ python3 sherlock --help usage: s...

lightcrawler 可以抓取网站并通过 Google lighthouse 运行网站。 npm install --save-dev lightcrawler lightcrawler ...

AppCrawler 是一个基于自动遍历的 App 爬虫工具。支持 Android 和 iOS，支持真机和模拟器。最大的特点是灵活性，可通过配置来设定遍历的规则。 为什么做这个工具 各大云市场上...

Spider Admin Pro Github: https://github.com/mouday/spider-admin-pro Gitee: https://gitee.com/moud...

Asyncpy 是基于 asyncio 和 aiohttp 开发的一个轻便高效的爬虫框架，采用了 scrapy 的设计模式，参考了 github 上一些开源框架的处理逻辑。 更多详细内容可参考d...

ListPage 是专门用于爬取或操作列表式网页的页面类，基于 DrissionPage。页面类抽象了列表式页面基本特征，封装了常用方法。 只需少量设置即可进行爬取或页面操作，实现可复用、可扩展...

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解...

Crawlab 的轻量版本，基于 Golang 的爬虫管理平台，支持任意语言编写的爬虫。 相比较 Crawlab，该版本专注于单机上的爬虫管理，平台运行不依赖任何的外部数据库，去除了大量非必要功...

小说工具 novelTools 是一款小说下载和在线阅读的爬虫工具。他可以让我们收藏自己喜欢的小说，实现本地化的、无广告的畅读体验。 它采用 Pyhon Scrapy 框架，实现了小说信息采集，...

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt。 特点如下： 原生Rust代码实现，不依赖任何第三方库 0 unsafe代码 保留所有...

SpiderAdmin，一个集爬虫 Scrapy+Scrapyd 爬虫项目查看 和 爬虫任务定时调度的可视化管理工具。 功能介绍 1. 对 Scrapyd 接口进行可视化封装，对 Scrapy ...

影视资源库（站点+采集）。采用 python 语言，基于 tornado 框架、MySql 数据库（peewee 模块操作 mysql），自带网络爬虫程序。 基于layui的管理后台

爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知。 数据源来自“丁香园” ：https://3g.dxy.cn/newh5/view/pneumonia_peopleapp?from=tim...

http-proxy-pool 是一个流量代理工具。 对于代理地址，期望是越多越好，但是对于代理质量有着更高的要求，宁缺勿滥，因此proxy-pool不再将抓取到的代理地址保存至数据库，而调整为...

wind-bell 风铃虫是一款轻量级的爬虫工具，似风铃一样灵敏，如蜘蛛一般敏捷，能感知任何细小的风吹草动，轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序，内置了二十余种常见或不...

________ _________________ ___ __ \___________ /_____ /____________ __ / / / __ \ __...