Asyncpy 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Asyncpy 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Asyncpy 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Asyncpy 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Asyncpy 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Python
操作系统 跨平台
软件类型 开源软件
所属分类 应用工具网络爬虫
开源组织
地区 国产
投 递 者 冬晨夕阳
适用人群 未知
收录时间 2021-01-14

软件简介

Asyncpy 是基于 asyncio 和 aiohttp 开发的一个轻便高效的爬虫框架,采用了 scrapy 的设计模式,参考了 github 上一些开源框架的处理逻辑。

在这里插入图片描述

 

更多详细内容可参考demo, Asyncpy使用文档

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2020/05/24 23:33

Asyncpy使用文档 Demo

Asyncpy使用文档 1 创建项目 2 发送get和post请求 2.1 使用start_urls发送GET请求 2.2 使用start_requests发送POST请求 3 自定义请求头 3.1 settings中设置请求头 3.2 在middlewares中添加请求头 3.3 添加代理IP 4 修改并发延时重试等配置 4.1 修改settings中的配置 4.2 修改指定爬虫文件的配置 5 生成日志文件 5.1 修改settings配置 5.2 多个爬虫指定日志文件 6 解析response提取数据 6.1 response.text 6.2 response.xpath('...

0
0
发表了博客
2020/05/23 01:52

Asyncpy协程爬虫框架

Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,采用了scrapy的设计模式,参考了github上一些开源框架的处理逻辑。 github: https://github.com/lixi5338619/asyncpy pypi: https://pypi.org/project/asyncpy/ asyncpy的架构及流程 安装需要的环境 python版本需要 >=3.6 依赖包: [ ‘lxml’, ‘parsel’,‘docopt’, ‘aiohttp’] 安装命令: pip install asyncpy 如果安装报错: ERROR: Could not find a ve...

0
0
发表了博客
2020/06/08 17:31

当我遇到钓鱼网站

发现钓鱼网站 我平时会刷一会儿微博,看看当前热门数据。 前天的时候在热门微博里看到了一则广告 <6月幸运召唤师抽奖> ,身为一个从s3开始入手的老玩家,没有丝毫犹豫直接从链接点了进去。 身为程序员的我,近些年也算是浏览大千网站,打开网页的第一时间就感觉有些不对。经过确认,该网站为钓鱼网站,直接向官方账号进行了反馈,也在12321进行了网站举报。 并没有这么简单 然而今天洽过午饭之后,打开微博发现事情并没有这么简...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
4 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部