工作上我需要Python模拟自然的浏览器行为访问某个网站。使用urllib2也勉强能够做到，但貌似有些麻烦。考虑使用第三方包来实现，这样方便一些。上网找了下，发现

用pamie，是用来操作控制ie的。官方主页：http://pamie.sourceforge.net/。PAMIE其实是一套为Python写的用于Web自动化测试的工具，采用Win32COM的方式操作IE来实现(看到这你也明白了它在＊unix下就不能用了)。 它的使用可以参考大牛limodou的文章http://blog.donews.com/limodou/archive/2005/02/15/277637.aspx

selenium RC (它支持多浏览器，所以在测试中用到这个会比较有用，RC 版支持python语言)，官方主页是：http://seleniumhq.org/。 可参考此处文章 PYTHON中使用SELENIUM作为WEB BROWSER引擎

使用Mechanize。使用mechanize也是相当简单的。

Python 2.x 中的模块 urllib 和 urllib2，以及 Python 3.0 中的统一的 urllib.* 子包，可以在 URL 的末尾获取资源。然而，当您希望与 Web 页面中找到的内容进行某种比较复杂的交互时，您需要使用 mechanize 库。

在自动 网页抓取或用户与 Web 站点的交互模拟中，最大的困难之一就是服务器使用 cookies 跟踪会话进度。mechanize 库将这种处理提升到一个更高程度的抽象并使您的脚本 — 或交互性 Python shell — 表现出非常类似实际 Web 浏览器的行为。

Python 的 mechanize 受到 Perl 的 WWW:Mechanize 的启发，后者具有类似的一组功能。

简单的使用示例如下：(翻译自参考3)

[python]

import mechanize

import cookielib

# Browser

br = mechanize.Browser()

# Cookie Jar

cj = cookielib.LWPCookieJar()

br.set_cookiejar(cj)

# Browser options

br.set_handle_equiv(True)

br.set_handle_gzip(True)

br.set_handle_redirect(True)

br.set_handle_referer(True)

br.set_handle_robots(False)                               #这个是设置对方网站的robots.txt是否起作用。

# Follows refresh 0 but not hangs on refresh > 0

br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

# Want debugging messages?

#br.set_debug_http(True)

#br.set_debug_redirects(True)

#br.set_debug_responses(True)

# User-Agent (this is cheating, ok?)

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]                    #设置ua

[/python]

现在已经创建好了br这个浏览器对象，可以用它来打开页面，或者进行交互。

[python]# Open some site, let’s pick a random one, the first that pops in mind:

r = br.open(‘http://google.com’)

html = r.read()

# Show the source

print html

# or

print br.response().read()

# Show the html title

print br.title()

# Show the response headers

print r.info()

# or

print br.response().info()

# Show the available forms

for f in br.forms():

print f

# Select the first (index zero) form

br.select_form(nr=0)

# Let’s search

br.form['q']=’weekend codes’

br.submit()

print br.response().read()

# Looking at some results in link format

for l in br.links(url_regex=’stockrt’):

print l[/python]

如果有密码的话就需要添加如下的代码：

[python]# If the protected site didn’t receive the authentication data you would

# end up with a 410 error in your face

br.add_password(‘http://safe-site.domain’, ‘username’, ‘password’)

br.open(‘http://safe-site.domain’)[/python]

#follow_link也常使用到

for link in br.links(url_regex="python.org"):

print link

br.follow_link(link)  # 接受 link对象 或者 参数列表

br.back()

更多更详细内容可参考这里：