急急急!!!求 大神 帮助。我想写一个爬谷歌的爬虫。(百度也行)

tjss 发布于 2016/09/12 16:04
阅读 494
收藏 0
在谷歌上随便输入一个关键字,把得到的所有结果的标题和url得到。
加载中
1
唯夜
唯夜
scrapy 炒鸡快,这个需求最多10行代码
1
丑矬穷
丑矬穷
打开谷歌,查看源代码,复制、粘贴
0
54mark
54mark

1、https://www.baidu.com/s?wd=关键词

2、F12,分析搜索结果html源码。

3、用phpquery选择器解析title和url

54mark
54mark
回复 @tjss : 一样的道理啊。解析html可以写正则。。java不清楚
t
tjss
java怎么弄?
0
不在乎y
不在乎y
java的话看看这个吧http://www.oschina.net/p/webcollector,以前玩过,做爬虫肯定能满足你吧
0
s
sosozzzx
推荐使用神箭手云爬虫,完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 

简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。
返回顶部
顶部