学爬虫先学什么?写给小白的python爬虫入门方法论

铁扇公主1 发布于 2017/06/13 10:39
阅读 368
收藏 1

编者注:这是笔者基于自身在入门python爬虫一些感悟,而写作的——入门小参考或建议。本文没有过多讲述学习爬虫需要哪些库或代码,而是期望为初学者提供一些爬虫思维或方法论,从而快速入门。不过,每个人的基础不同,这仅是一家之言,希望大家能有所收获。

(1)我们并不缺少python爬虫的各类教程

学爬虫先学什么?有人说是编程,对也不对。对的是爬虫也是以一定的编程语言为基础的,对于连编程都不是很熟悉的纯小白来说,建议你去从编程学起。

不对,是因为对于已经有些编程基础的爬虫小白来说,学习到python爬虫的编程套路,你也不一定会真正了解爬虫,灵活运用。

事实上,我们并不缺少python爬虫的各类教程,在网络上搜索,文章、视频,比比皆是。什么“十分钟教会你用python爬取网页”,“**行代码就能让你学会爬虫”,“零基础爬虫速成指南”,还有scrapy框架的爬取策略,甚至根本不需要懂代码的爬虫工具等等。

各种爬虫实战的文章、案例、全程代码等等,也如漫天星斗,数不胜数,有的爬豆瓣、知乎、大众点评,有的爬淘宝、京东、58同城,有的爬微信、博客、论坛等等。。

在基础教材足够的条件下,貌似我们分分钟就可以学会爬虫,但是,事实如此吗?

(2)我曾经的学习困惑:会模仿但不会应用

编程最好的一个学习方式就是模仿。

我也曾经基于案例或实战去学习python爬虫,比如Urllib库、模拟浏览器、正则表达式、Beautiful Soup的用法等等。

但是,我学过n个案例之后还是很困惑,我学会了爬豆瓣,但我只能爬豆瓣,我学会了爬百度贴吧,也只会爬百度贴吧,我只能会一个案例就只会爬一个网站,世上网站千千万,换了一个陌生网站,我却不知道如何抓取信息。

我只会模仿别人的程序模式,却不会融会贯通。

我知道Urllib库是用来向网页发出请求,并实现解析,我知道增加headers以及一些代理来应对反爬机制,使用Beautiful Soup、Xpath以及正则表达式来在解析文本中搜索、抓取具体信息…..但我不知道,换了另一个网页,在茫茫的文本中,我所需要的信息(名称、标签)等等,如何定位到,如何去掉多余信息,精准抓取出来?

就像下面两个图,左边是淘宝某件服装的信息(非广告,仅是举例),右边是该网页的编码,我们在解析完网页之后,如何把139.00的价格抓取出来?即便我们可以用简单的find()函数把它找出来,那万一这个网页中还有另外一个139.00元的商品呢?怎么精确定位?

或者我们要把一系列类似商品的价格、名称、付款人数、地区等等一整套信息抓出来,怎么在同一个商品框架下,基于不同信息标签,构建一个信息列表?

更重要的是,当我们掌握了淘宝网页的信息爬虫模式,那么换一个网站,比如京东?我们还能套用之前的模式吗?

学爬虫先学什么?写给小白的python爬虫入门方法论

(3)我所理解的爬虫

事实上,我犯了一个错误,当我拥有了python这一爬虫工具后,我就自以为掌握了爬虫的钥匙,无坚不摧,所向披靡,但是我忽视了所针对的对象——网页是千变万化,多种多样的,掌握了一种方法,不一定能用在其他地方。只有掌握了对象的本质与共通点,你才能融会贯通。

有人把爬虫比喻成蜘蛛,我觉得这个比喻不甚恰当,因为蜘蛛的那个网结构很简单,一眼就能望穿。但是现实中的网,是很巨大的,是很多样化的,也是结构复杂的,相比较于爬虫工具,我们所面临的解析对象很复杂,这也使得我们的工具、方法不断在升级。

曾经有个综艺节目《奔跑吧,兄弟》,经常有的一个游戏环节就是在一座大厦里,有很多楼层、房间,在很多角落里藏着包含信息或物件的盒子,让游戏者去找。

我所理解的爬虫与此类似,一个网站就相当于一座大厦,有很多相同的楼层及房间,在每个楼层或房间都在同一位置隐藏着相关信息,如果单靠人力去找,也能找到,但是很累,很慢,也不能全部找到。

而爬虫就相当于我们手里有了一个机器人,它会代替我们去向这座大厦发送访问申请,会伪装自己来应对反爬虫机制,会将整个大厦的布局降维输出,形成平面图(文本),会根据平面图精准定位每个房间的某个标记为price的盒子,并将所有房间的所有盒子里的信息抓取到。

但是这个机器人并不是完全智能的,它需要我们设置一些命令,才能完成这个工作,就比如在精准定位上,它可能需要我们对整个大厦布局了然如胸的基础上,发出定位指令,才能完成。

(4)学爬虫之前不妨学一些简单的网页结构基础

学爬虫之前不妨学一些简单的网页结构基础知识,也就是认识一下网页的基本架构是什么,甚至还要自己去动手模仿着做一个简单的网站。

磨刀不误砍柴工。我在学习很多python爬虫案例之后,仍然很迷惘,但是当我开始学习了一些网页基本架构知识,动手做完一个简单静态网站之后,豁然开朗,面对千变万化的网页,我知道它的一些共通点,我知道如何在各种资料的帮助下对于任何一个陌生网站,都可以去获取我想要的信息。

一般来说,网站由导航栏、栏目、及正文内容组成,在每个部分中一些div元素、标题a元素、属性class、段落p等等组成,万变不离其宗。

学爬虫先学什么?写给小白的python爬虫入门方法论

就像前边这幅图,右边的代码就表示多个div结构性区域下,用不同class属性,并结合不同文字格式,把整个网页构建起来,当我们爬取信息时,就要找到它在什么div下的什么class以及什么块样式span下的某一块里。这样我们使用起来解析函数或者正则表达式,也应心得手。

这样也就可以——既见树木又见森林,树木是每一个网页的不同点,在python爬虫时,结合不同手段实现;森林则是所有网页的内在构造,即相通之处,面对成千上万个不同网站,我们也能找到爬取的关键所在。

怎么样才能学好python学好python你需要一个良好的环境,一个优质的开发交流群,群里都是那种相互帮助的人才是可以的,我有建立一个python学习交流群,在群里我们相互帮助,相互关心,相互分享内容,这样出问题帮助你的人就比较多,群号是301,还有056,最后是051,这样就可以找到大神聚合的群,如果你只愿意别人帮助你,不愿意分享或者帮助别人,那就请不要加了,你把你会的告诉别人这是一种分享。如果你看了觉得还可以的麻烦给我点个赞谢谢
  

加载中
0
雷锋不是我
雷锋不是我

首先你得会html和js

再然后你得会变通

返回顶部
顶部