标签 Scrapy - OSCHINA - 中文开源技术交流社区

软件主页

关注

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方...

加载中

回答

如果要爬取的网站上没有设置robots.txt，那么是不是代表默认都允许爬取呢？有没有法律风险呢？

2020/07/10 08:40

回答

爬取一个页面中的div，想获取div中的文字，我是这么写的： selector.xpath('//div[@class="text-con"]').xpa...

2017/06/30 15:32

回答

如，一个将数据保存到excel文件的管道类，作为一个通用类，不写死Item类的判断过程，用dict来map类名和文件的关系， outputs = {‘AA...

2019/02/10 17:35

回答

登录部分代码如下： def start_requests(self,user,passw): yield scrapy.F...

2017/06/29 08:27

回答

Scrapy 是不是不能爬取https的网站？

2017/02/12 19:02

没有更多内容

加载失败，请刷新页面

Scrapy