标签 Scrapy - OSCHINA - 中文开源技术交流社区

软件主页

关注

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方...

加载中

回答

如果要爬取的网站上没有设置robots.txt，那么是不是代表默认都允许爬取呢？有没有法律风险呢？

hzucc

2020/07/10 08:40

回答

爬取一个页面中的div，想获取div中的文字，我是这么写的： selector.xpath('//div[@class="text-con"]').xpa...

开源肥牛饭

2017/06/30 15:32

回答

试着写一个spider 爬一个论坛(dz7.2)，目标板块是要求登录了，目标站是cookie来验证身份的。我模拟登录了，登录成功后，在访问目标板块的时候，...

一袭青衫

2013/11/16 22:55

回答

阪本先生

2019/09/04 19:32

回答

现在，我正在做一个网站爬虫，但是应该是被一个网站视为攻击了吧！我用浏览器访问这个网站，显示正常，但是程序访问，返回的是电信的那个域名错误；为了躲过限制： ...

索隆

2013/04/01 14:31

回答

rt，使用scrapy shell测试语句：scrapy shell "http://list.jd.com/list.html?cat=670,671,...

太阳底下

2014/07/31 10:17

回答

如，一个将数据保存到excel文件的管道类，作为一个通用类，不写死Item类的判断过程，用dict来map类名和文件的关系， outputs = {‘AA...

JorringHsiao

2019/02/10 17:35

回答

大家好，我刚开始学习使用scrapy，希望能请教一个问题。这是我的spiders文件夹中爬虫文件的代码 class PabhSpider(CrawlSp...

elvissg

2014/11/04 21:52

回答

本人正在爬取一个网站，输入网站地址后返回的是异步的ajax请求，我想获取所有的这些xhr以及它们的Form Data 请问有没有办法呢。困扰一天了不知...

非墨丶

2018/08/29 22:49

回答

爬虫源码 def parse(self, response): data = json.loads(response.text)['result'...

格林斌

2018/07/24 15:29

回答

我想要爬取搜狐新闻网址是： http://news.sohu.com/guoneixinwen.shtml 有很多页需要爬取，按以往的一些网站，源码会在...

sansejin0723

2015/08/17 21:04

回答

需求：有个redis队列，我需要从队列中获取数据（源相关的配置规则），然后加入到scrapy的spider中，并启动。目前的解决方法：开启了个守护线程...

AlertF

2018/01/16 10:25

回答

python3.6 scrapy 1.4.0 断点调试时可以看到数据，但是命令行导出csv文件为空。 spider文件： import scrapy im...

12312dfa

2017/09/02 09:03

回答

# -*- coding: utf-8 -*- import scrapy from scrapy.shell import inspect_respon...

anbency

2017/07/17 17:47

回答

问题描述：想抓取某类列表页中的新闻详细页，其中遇见有的新闻详细页有翻页，就是一长篇文章用分页来隔开，有的则没有。而我想储存的mysql每行字段格式如下：...

cashwar

2016/05/09 19:17

回答

我在用scrapy+redis实现一个简单的分布式爬虫，但运行后，一个爬虫爬地快，一个爬虫爬地慢，我想请教各位如何实现redis对各个爬虫获取URL速度...

一字并肩王之龙巡天下

2017/03/25 16:39

回答

huangxiaowei 的回答 2017/07/13 15:32

最佳答案

这个问题解决了，分析浏览器请求，发现header里面都是设置了referer的，在pipeline 里request的时间，加上header.referer 即可。 HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从...

阅读全文

回答

登录部分代码如下： def start_requests(self,user,passw): yield scrapy.F...

队长小楠

2017/06/29 08:27

回答

下面的代码模拟登录知乎，在登录的时候没有成功 check_login提示失败： check_login { "r": 1, "errcode": 1991...

anbency

2017/06/26 17:24

回答

Scrapy 是不是不能爬取https的网站？

雨落三山

2017/02/12 19:02

没有更多内容

加载失败，请刷新页面

Scrapy

Scrapy 相关标签

达人榜

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号

OSCHINA 小程序

OSCHINA 小程序 —— 关注技术领域的头条文章

Scrapy

Scrapy 相关标签

Python

Django

Ubuntu

MySQL

Redis

Flask

Windows

Java

Twisted Matrix

IPython

达人榜

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号

OSCHINA 小程序

OSCHINA 小程序 ——
关注技术领域的头条文章