Python的HTML解析 mechanize

BSD
Python
Linux
2010-01-19
红薯

当您希望与 Web 页面中找到的内容进行某种比较复杂的交互时,您需要使用 mechanize

示例代码:

import re
from mechanize import Browser

br = Browser()
br.open("http://www.example.com/")
# follow second link with element text matching regular expression
response1 = br.follow_link(text_regex=r"cheese\s*shop", nr=1)
assert br.viewing_html()
print br.title()
print response1.geturl()
print response1.info() # headers
print response1.read() # body
response1.close() # (shown for clarity; in fact Browser does this for you)

br.select_form(name="order")
# Browser passes through unknown attributes (including methods)
# to the selected HTMLForm (from ClientForm).
br["cheeses"] = ["mozzarella", "caerphilly"] # (the method here is __setitem__)
response2 = br.submit() # submit current form

# print currently selected form (don't call .submit() on this, use br.submit())
print br.form
加载中

评论(0)

暂无评论

暂无资讯

4
回答
python模拟登陆腾讯微博

由于项目需要爬去腾讯微博 的数据,所以在尝试模拟登陆腾讯微博,但是一直登陆不了,感觉参数都对了,但就是登陆不了,求大家 帮忙看看,或者有没有其他的方法获取...

2013/03/15 15:50
4
回答
关于Ruby的HTTP访问,怎样保持会话状态

我想用Ruby程序对网站进行自动投稿,网站有登陆认证,我用以下代码通过登陆认证后,怎样才能保持住会话状态呢? require 'mechanize' a...

2011/10/26 10:28

没有更多内容

加载失败,请刷新页面

没有更多内容

Mechanize使用手册

开始使用 [WWW::Mechanize](http://mechanize.rubyforge.org/mechanize/classes/WWW/Mechanize.html) ————————— 本教程的目的是帮助你开始使用Mechanize。读完这篇教程之后,你将可...

2013/01/25 11:35
2.1K
1
性能测试工具MultiMechanize的使用介绍

MultiMechanize是一款轻便的性能测试工具,做一下入门级别的使用介绍

2016/08/18 16:17
33
0
在Mac中使用Multi-Mechanize

Multi-Mechanize 是一个开源的性能和负载测试框架,它并发运行多个 Python 脚本对网站或者服务生成负载(组合事务)。测试输出报告保存为HTML或JMeter的兼容的XML。Multi-Mechanize最常用于w...

2016/08/24 11:18
70
0
python http 组件简介

1. mechanize https://pypi.python.org/pypi/mechanize/ 中文简介:基于urllib2,完全兼容urllib2,提供浏览历史,表单状态,cookies等功能。 mechanize 0.2.5 Downloads ↓ Stateful program...

2013/06/06 23:18
257
0
python---easy_install 安装软件 及BeautifulSoup 中文乱码

安装easy_install工具 使用ez_setup.py脚本方便安装: wget - q http: // peak.telecommunity.com/dist/ez_setup.py python ez_setup.py 安装完后,最好确保easy_install所在目录已经被加到P...

2012/04/10 22:37
977
0
Ruby中爬虫的实现

Ruby中实现网页抓取,一般用的是mechanize,使用非常简单。 安装 sudo gem install mechanize 抓取网页 require 'rubygems' require 'mechanize' agent = Mechanize.new page = agent.get...

2013/01/25 18:05
699
0
Doing BDD with Behave on a Django project

尝试了按照 Behave 文档中的指导在我们的 Django 项目上加入 BDD。今天就来分享下过程中解决的坑和一些心得体会。

2013/05/19 16:25
365
0
Mechanize对WEB的操作

与网页交互(Interacting With a Web Page) 通过Mechanize模拟自然的浏览器行为来完成与网页之间的交互. # Mechanize的安装 Mechanize的安装请查看 -> Ruby library的安装 # 使用Mechanize时,...

2013/01/25 11:37
135
0
Mechanize模拟自然网页交互一些基本常用方法

与网页交互(Interacting With a Web Page) 通过Mechanize模拟自然的浏览器行为来完成与网页之间的交互. # Mechanize的安装 Mechanize的安装请查看 -> Ruby library的安装 # 使用Mechanize时,...

2013/01/25 11:38
1K
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部