Scrapy爬虫开发

kobe_sky 发布于 2017/01/18 14:12
阅读 18
收藏 1

【人员要求】

  具有Scrapy爬虫开发经验

【交付要求】

 用Scrapy框架爬取下述100各站点,抓取网上所有文章,保存到mysql。

 抓取内容:文章链接、文章具体内容、文章title

 支持全量、增量爬取。

【业务需求】

11 coinbase

https://www.coinbase.com/
11 coinbase

https://www.coinbase.com/
11 coinbase

https://www.coinbase.com/
11 coinbase

https://www.coinbase.com/
11 coinbase

https://www.coinbase.com/
12 区块链资讯

http://news.blockchain.hk/
13 BitYuan

http://www.bityuan.com/
14 Oxbtc

https://oxbtc.com/
15 比特范

http://news.btcfans.com/
16 BTC114

http://www.btc114.com/
17 哈雷比特

https://www.halleybtc.com/
18 聚币网

http://www.jubi.com/
19 比特币交易网

http://www.btctrade.com/
20 币网

https://www.bw.com/
21 比巴克

http://p2pbucks.com/
22 火币

https://www.huobi.com/
23 搜搜比特币

http://www.sosobtc.com/
24 莱特币

http://www.laiteb.com/
25 中国比特币

https://www.chbtc.com/
26 大壹币

https://dayibi.com/
27 币交所

http://www.coinvc.com/
28 八喜数字网

http://www.8xsz.com/
29 菲亚区块链

http://www.fiyea.com/
30 爱比特

http://www.aibit.net/portal.php
31 19800网

https://www.19800.com/
32 中国狗狗币协会

http://www.chinadoge.cn/
33 币看

http://btckan.com/
34 haobtc

https://haobtc.com
35 Kcoin

https://www.okcoin.cn/
36 BTCC

https://www.btcc.com/
37 Bittiraha.fi

https://bittiraha.fi/
38 比特币之家

http://www.btc798.com/
39 网贷之家

http://www.wdzj.com/
40 网贷天眼

http://www.p2peye.com/
41 Bitcoin 英文
https://www.bitcoin.com/
42 bitcoinunlimited 英语文
http://www.bitcoinunlimited.info/
43 万币 中文
https://www.wanbi.com/
44 bitstones 中文
http://bitstones.com/
45 海峡比特币网 中文
http://www.hxtop.com/
46 OKLink 英文
https://www.oklink.com/
47 金信商品 中文
https://www.btc-q.com/
48 彩云比特 中文
http://www.cybtc.com/
49 比特时代 中文
http://www.btc38.com/
50 区块讯 中文
http://www.qukuaixun.com/
51 币民中国 中文
http://www.bimin.cn/
52 比特帮 中文
http://www.btcside.com/
53 八融宝 中文
https://www.8r.com/
54 羽毛币中国 中文
http://www.ftc-c.com/
55 区块链信息网 中文
http://www.qklxxw.com/
56 币世界 中文
http://www.bi126.com/
57 币久网 中文
http://www.btc9.com/Index/index.html
58 阿希 中文
https://www.asch.so/
59 比特儿 中文
https://bter.com/
60 ARMORY 英文
http://www.bitcoinarmory.com/
61 ELECTRUM 英文
https://electrum.org/#home
62 bitcoinpaperwallet 英文
https://bitcoinpaperwallet.com/
63 bither 英文
https://bither.net/
64 Bitcoin Forum 英文
https://bitcointalk.org/
65 LTB NETWORK 英文
https://letstalkbitcoin.com/
66 reddit 英文
https://www.reddit.com/
67 BITCOIN  MAGAZINE 英文
https://bitcoinmagazine.com/
68 BTC MEDIA 英文
https://www.btcmedia.org/
69 THE COINTELEGRAPH 英文
https://cointelegraph.com/
70 NEWSBTC 英文
http://www.newsbtc.com/
71 Bitalo 英文
https://bitalo.com/
72 BitcoinNews 英文
https://www.bitcoinnews.com.br/
73 HIDeez 英文
http://hideez.com/
74 forklog 英文
http://forklog.net/
75 BITRUSH 英文
http://bitrush.co/
76 CRYPTORIALS 英文
http://cryptorials.io/
77 价值区块链 中文
http://www.blockvalue.com/
78 Coinnice 中文
https://www.coinnice.com/
79 壹比特 中文
http://www.yibite.com/
80 DECENT FOUNDATION 英文
http://decent.ch/
81 ETHFANS 中文
http://ethfans.org/
82 区块链*铅笔 中文
http://chainb.com/
83 投币网 中文
http://www.touzibi.com/
84 币科技 中文
https://www.bikeji.com/
85 以太坊论坛 中文
https://www.ethbbs.com/
86 小蚁 中文
https://www.antshares.org/Home/Index
87 零壹财经 中文 media http://www.01caijing.com/
88 NYTimes 英文 media http://www.nytimes.com/
89 Forbes 英文 media http://www.forbes.com/
90 Financial Times 英文 media http://www.ft.com/home/us
91 Economist 英文 media http://www.economist.com/
92 bloomberg 英文 media http://www.bloomberg.com/
93 Yahoo finance 英文 media https://finance.yahoo.com/
94 Ruters 英文 media http://www.reuters.com/
95 BBC 英文 media http://www.bbc.com/
96 Fortune 英文 media http://fortune.com/
97 investorjunkie 英文 media https://investorjunkie.com/
98 CNN 英文 media http://www.cnn.com/
99 TIME 英文 media http://time.com/
100 news week 英文 media http://www.newsweek.com/
101 nerdwallet 英文 media https://www.nerdwallet.com/
102 CNBC 英文 media http://www.cnbc.com/
103 US News 英文 media http://www.usnews.com/
104 INVESTOR‘S BUSINESS DAILY 英文 media http://www.investors.com/
105 alphaarchitect 英文 media http://www.alphaarchitect.com/
106 Money Sense 英文 media http://www.moneysense.ca/
107 ADVISORY HQ 英文 media http://www.advisoryhq.com/
108 BARRONS 英文 media http://www.barrons.com/
109 ROBO ADVISORS 英文 media http://roboadvisorcongress.com/
110 GRAPHIQ 英文 media https://www.graphiq.com/
111 eMoney Advisor 英文 media http://www.emoneyadvisor.com/
112 COINFOX 英文
http://www.coinfox.info/


加载中
0
mickelfeng
mickelfeng
好廉价,虽然我会scrapy
返回顶部
顶部