加载中

Crawlee - 爬虫工具

Crawlee 是一个由 Apify 开发的网络抓取和浏览器自动化库。它能帮助你构建可靠的爬虫,速度快。 Crawlee 涵盖了端到端的爬行和抓取。为用户提供了在网络上抓取链接、抓取数据并将其存...

收藏 4
Crawlee

FEAPDER - Python 爬虫框架

feapder[ˈfiːpdə]是一款上手简单,功能强大的 Python 爬虫框架,内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。...

收藏 8

Benny-Scraper - 网络小说和漫画抓取工具

Benny-Scraper 是一款网络小说和漫画抓取工具。可让用户在一个文件中离线存储其喜爱的漫画或网络小说的所有章节。将网络小说存储为 Epub,将漫画存储为 PDF。 目标是使用 Benny...

收藏 8

EasySpider - 可视化爬虫软件

EasySpider是一款完全免费和开源的可视化爬虫软件,此软件可以让大家使用图形化界面,无代码可视化的设计和执行爬虫任务。 只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和...

收藏 119

Maigret - 社交网络帐号爬虫

Maigret 是一个基于用户 ID 爬取其在互联网上相关帐号的爬虫。它通过用户名收集对应帐号的档案,在大量的网站上检查此帐号,并从网页上收集所有可用的信息,不需要 API 密钥。 Maigre...

收藏 25
更新于 2022/10/23
Maigret

depth-crawler-python - 三级页面定向爬取

depth-crawler 是一个三级页面定向爬取工具。 功能 1.在python中运用scrapy框架定向爬取至三级页面,保存html页面内容与链接为xlsx表格 2.将xlsx表格内容存至e...

收藏 8

WebCrawler - 网站数据采集工具

WebCrawler 是一个网站数据采集工具,使用 scrapy 框架。 环境准备 [Scrapy] (http://scrapy.org/) [MongoDB] (https://www.mo...

收藏 14

Sherlock Social - 社交网络帐号爬虫

Sherlock 是一款网络爬虫工具,可根据输入的用户名爬取对应的社交帐号,目前支持 300 多个不同社交平台。 用法 $ python3 sherlock --help usage: s...

收藏 64
更新于 2024/02/19
Sherlock Social

lightcrawler - 轻型爬虫

lightcrawler 可以抓取网站并通过 Google lighthouse 运行网站。 npm install --save-dev lightcrawler lightcrawler ...

收藏 4

AppCrawler - 基于 Appium 的 App 自动遍历工具

AppCrawler 是一个基于自动遍历的 App 爬虫工具。支持 Android 和 iOS,支持真机和模拟器。最大的特点是灵活性,可通过配置来设定遍历的规则。 为什么做这个工具 各大云市场上...

收藏 11

Spider Admin Pro - Scrapy 可视化管理和定时调度

Spider Admin Pro Github: https://github.com/mouday/spider-admin-pro Gitee: https://gitee.com/moud...

收藏 18

Asyncpy - 异步请求框架

Asyncpy 是基于 asyncio 和 aiohttp 开发的一个轻便高效的爬虫框架,采用了 scrapy 的设计模式,参考了 github 上一些开源框架的处理逻辑。 更多详细内容可参考d...

收藏 6

ListPage - 列表页爬虫

ListPage 是专门用于爬取或操作列表式网页的页面类,基于 DrissionPage。页面类抽象了列表式页面基本特征,封装了常用方法。 只需少量设置即可进行爬取或页面操作,实现可复用、可扩展...

收藏 8

INFO-SPIDER - 爬虫工具箱

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解...

收藏 112
更新于 2020/09/13
INFO-SPIDER

Crawlab Lite - 爬虫管理平台

Crawlab 的轻量版本,基于 Golang 的爬虫管理平台,支持任意语言编写的爬虫。 相比较 Crawlab,该版本专注于单机上的爬虫管理,平台运行不依赖任何的外部数据库,去除了大量非必要功...

收藏 42
更新于 2020/07/15
开源软件作者
go-sigma 作者
Nutz on Rails 作者
Daffodil-cloud 作者

novelTools - 小说下载和在线阅读工具

小说工具 novelTools 是一款小说下载和在线阅读的爬虫工具。他可以让我们收藏自己喜欢的小说,实现本地化的、无广告的畅读体验。 它采用 Pyhon Scrapy 框架,实现了小说信息采集,...

收藏 36

robotstxt-rust - 基于 Rust 的 robots.txt 解析器

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt。 特点如下: 原生Rust代码实现,不依赖任何第三方库 0 unsafe代码 保留所有...

收藏 2

SpiderAdmin - 爬虫项目可视化管理工具

SpiderAdmin,一个集爬虫 Scrapy+Scrapyd 爬虫项目查看 和 爬虫任务定时调度的可视化管理工具。 功能介绍 1. 对 Scrapyd 接口进行可视化封装,对 Scrapy ...

收藏 72

vsplider - 影视资源库

影视资源库(站点+采集)。采用 python 语言,基于 tornado 框架、MySql 数据库(peewee 模块操作 mysql),自带网络爬虫程序。 基于layui的管理后台

收藏 46

2019nCoV-Crawler - 新型肺炎疫情数据爬虫

爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知。 数据源来自“丁香园” :https://3g.dxy.cn/newh5/view/pneumonia_peopleapp?from=tim...

收藏 6

没有更多内容

加载失败,请刷新页面

返回顶部
顶部