关于如何抓取新浪微博信息。

司徒春运 发布于 2011/07/14 17:52
阅读 8K+
收藏 0

我现在要做一个微博的采集和分析软件,大概的效果就是和图上一样,现在关键的问题是怎么将微博的内容提取出来,求指点……

假如说我想获取有关“房地产”的信息,希望能够将所有有关的微博信息抓取下来,然后能进行一定的筛选,以指定的方式显示出来。本人菜鸟,希望大家给点建议和指导!要爬虫算法等等知识吗?

加载中
0
ValueError
ValueError

正则表达式嘛~

不过见过一些其他的微博爬虫,貌似爬手机版的会轻松很多

司徒春运
司徒春运
好的,谢谢,主要我啥都不懂!你的意思是说相对于Web页面,手机版的微博,页面可能没有那么复杂,其结构简单,没有那么多冗余的信息,所以可以比较轻松进行抓取?
0
qche7764
qche7764
用微博给的api
0
ValueError
ValueError

引用来自“qche7764”的答案

用微博给的api

API 有每日使用次数限制的

所以还是正则表达式自己做爬虫比较靠谱

建议 lz 到论坛翻翻那个正则表达式30分钟入门教程

司徒春运
司徒春运
好的,新浪开发平台给的API确实有诸多限制。看来需要学习爬虫和正则表达式!
0
无怨无悔
你好,你的问题解决了吗?可以联系QQ:2296082067
0
C**
C**
实验的兄弟们,这个可以完全抓下来吗
0
加酸
加酸
求抓取用户名  内容 图片地址  视频地址  的爬虫
0
打撒范德萨

我抓取某个人的微博信息的时候会转到注册页面,请问这个怎么弄啊?

例如抓取:http://weibo.com/u/1768205562

会自动跳转到注册页面

用浏览器看是没问题的,用程序就会跳转,求解决啊!!!

返回顶部
顶部