标签 Scrapy - 开源中国

软件主页

关注

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方...

加载中

回答

如，一个将数据保存到excel文件的管道类，作为一个通用类，不写死Item类的判断过程，用dict来map类名和文件的关系， outputs = {‘AA...

JorringHsiao

02/10 17:35

回答

大家好，我刚开始学习使用scrapy，希望能请教一个问题。这是我的spiders文件夹中爬虫文件的代码 class PabhSpider(CrawlSp...

elvissg

2014/11/04 21:52

回答

本人正在爬取一个网站，输入网站地址后返回的是异步的ajax请求，我想获取所有的这些xhr以及它们的Form Data 请问有没有办法呢。困扰一天了不知...

非墨丶

2018/08/29 22:49

回答

爬虫源码 def parse(self, response): data = json.loads(response.text)['result'...

格林斌

2018/07/24 15:29

回答

我想要爬取搜狐新闻网址是： http://news.sohu.com/guoneixinwen.shtml 有很多页需要爬取，按以往的一些网站，源码会在...

sansejin0723

2015/08/17 21:04

回答

需求：有个redis队列，我需要从队列中获取数据（源相关的配置规则），然后加入到scrapy的spider中，并启动。目前的解决方法：开启了个守护线程...

AlertF

2018/01/16 10:25

回答

python3.6 scrapy 1.4.0 断点调试时可以看到数据，但是命令行导出csv文件为空。 spider文件： import scrapy im...

12312dfa

2017/09/02 09:03

回答

# -*- coding: utf-8 -*- import scrapy from scrapy.shell import inspect_respon...

anbency

2017/07/17 17:47

回答

问题描述：想抓取某类列表页中的新闻详细页，其中遇见有的新闻详细页有翻页，就是一长篇文章用分页来隔开，有的则没有。而我想储存的mysql每行字段格式如下：...

cashwar

2016/05/09 19:17

回答

我在用scrapy+redis实现一个简单的分布式爬虫，但运行后，一个爬虫爬地快，一个爬虫爬地慢，我想请教各位如何实现redis对各个爬虫获取URL速度...

一字并肩王之龙巡天下

2017/03/25 16:39

回答

huangxiaowei 的回答 2017/07/13 15:32

最佳答案

这个问题解决了，分析浏览器请求，发现header里面都是设置了referer的，在pipeline 里request的时间，加上header.referer 即可。 HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从...

阅读全文

回答

爬取一个页面中的div，想获取div中的文字，我是这么写的： selector.xpath('//div[@class="text-con"]').xpa...

开源X

2017/06/30 15:32

回答

登录部分代码如下： def start_requests(self,user,passw): yield scrapy.F...

队长小楠

2017/06/29 08:27

回答

下面的代码模拟登录知乎，在登录的时候没有成功 check_login提示失败： check_login { "r": 1, "errcode": 1991...

anbency

2017/06/26 17:24

回答

Scrapy 是不是不能爬取https的网站？

芝麻糖人

2017/02/12 19:02

回答

http://zf.zjjs.com.cn/ysxm.jspx 以上是要抓取数据的网址，欲实现的功能是抓取表格数据存入数据库，一开始就遇到问题了，不知道拿...

竞风之翼

2017/06/01 16:09

回答

200p 的回答 2017/05/31 11:19

最佳答案

def setmodule(self, module, priority='project'): """ Store settings from a module with a given priority. This is a helper function that calls :meth...

阅读全文

回答

想做一个从百度云获取数据的爬虫选用scrapy框架版本为python3.6 scrapy1.3.3 pycharm2017 但爬到这个链接的时候无论如何...