一个因为雾霾而诞生的开源爬虫

sameLuo 发布于 2017/12/26 14:09
阅读 3K+
收藏 1

    都在说,成都,一座来了就不想离开的城市。很早之前张艺谋还拍了一部宣传片(有兴趣的小伙伴可以去看看http://www.iqiyi.com/w_19rqygvn1p.html),然后雾霾来也,也不想走了,成都环保局反应也很快,三天一个黄色预警,五天一个橙色预警,限行也打乱了,今天鸳鸯锅,明天红锅,搞得民不聊生。

    于是我和我的小伙伴就合计着是不是要搞一个微信小程序来,推送一下限行,和污染预警信息。

    说干就干,像这种利国利民的事情肯定义不容辞涩,于是首要任务就是要采集成都环保官网的数据,而且要定时采集。然后产品小伙伴就给我提要求了,动作要快姿势要帅。我也瞬间get到了要点,动作快=用最好用的爬虫框架和效率高开发语言涩;姿势帅=抓取规则肯定不能写死涩。

    本着以上原则,身为javaer的我当时就想起了java爬虫界的教科书webmagic了,至于开发语言,spark程序写得爽歪歪的我肯定要上jvm上的c++ scala涩。(ps:说了这么多,还不是为了装逼)然后搞了一个基于xml配置化的爬虫小程序,用起来感觉还可以,主要是配置简单,支持corn任务调度,支持深度抓取,支持爬虫监控。程序虽小,但还是五脏俱全,功能够用。搞一些小程序,小网站啥的特别的适合。对爬虫,和scala有兴趣的小伙伴可以关注要下哈。码云地址:https://gitee.com/luosl/webmagicx

    最后,经过1个多周的奋战小程序终于上线了,成都的小伙伴可以关注一下哦(微信小程序搜索:成都尾号限行)。

 

加载中
0
胖虎提刀斩大雄
sameLuo
sameLuo
名字很骚气,头像很屌丝,评论很一般
0
0
奔跑的番薯
奔跑的番薯

用不了啊。。什么鬼。。

sameLuo
sameLuo
是什么原因用不了呢,求反馈。可以加群468248192
0
诺诺
诺诺

哈哈,这是在为自己打call啊!看我的微信小程序:Java学院

0
诺诺
诺诺

再次疑问:微信小程序能主动推送消息?

sameLuo
sameLuo
回复 @qiun :用的模板消息
q
qiun
国庆的时候了解小程序还是不行的呀,楼主用的是模板消息还是客服消息?还是其他?
sameLuo
sameLuo
可以的哦
0
yak
yak

尘都,一座来了就当人肉吸尘器的城市

sameLuo
sameLuo
哈哈,想到以后还要在成都待几十年,真为我的肺担忧
返回顶部
顶部