jparser是一个python库，用于网页转码，也就是从html源码中抽取正文的结构化数据：文本段落和图片。目前主要针对新闻资讯类页面进行了优化。
用法：
import urllib2
from jparser import PageModel
html = urllib2.urlopen("http://news.sohu.com/20170512/n492734045.shtml").read().decode('gb18030')
pm = PageModel(html)
result = pm.extract()
print "==title=="
print result['title']
print "==content=="
for x in result['content']:
if x['type'] == 'text':
print x['data']
if x['type'] == 'image':
print "[IMAGE]", x['data']['src']示例：
依赖：lxml
jpaser 0.0.18 发布了，jparser 是 Python 编写的网页正文抽取工具，对于资讯类页面可以自动抽取标题、正文段落和图片地址。 0.0.18 版改进： 1） 修复br标签问题； 2） 提高了title提取的准确性; 3） 图片地址绝对路径处理bug修复； 4） 抽取结果中的杂质打压； 5） 提高正文区域识别准确率；
jparser 0.0.11 发布了。jparser是一个python库，用于网页转码，也就是从html源码中抽取正文的结构化数据：文本段落和图片。目前主要针对新闻资讯类页面进行了优化。主要更新内容如下： Bug fix： title提取错误 正文区域判断失误bad case li标签内容遗漏 在线测试Demo：http://jparser.duapp.com/ 用法示例： import urllib2 from jparser import PageModel html = urllib2.urlopen("http://news.sohu.com/20170512/n4...
评论