Github每日精选（第24期）：python的浏览器MechanicalSoup

MechanicalSoup

可能你看到MechanicalSoup，就会想起BeautifulSoup，是的，这两个的功能用起来差不多，只是MechanicalSoup做的更多一点。

MechanicalSoup 更像一个浏览器一样，但是他不执行’JavaScript’，在浏览器中当我们获取了一个网站的内容以后，MechanicalSoup 就可以像JavaScript一样，查找和获取网站的指定内容了。

github的地址在这里。

安装

PyPy3 也受支持（并经过测试）。

从PyPI下载并安装最新发布的版本：

pip install MechanicalSoup

从GitHub下载并安装开发版本：

pip install git+https://github.com/MechanicalSoup/MechanicalSoup

从源代码安装（在当前工作目录中安装版本）：

python setup.py install

使用MechanicalSoup

获取搜索结果

通过MechanicalSoup，访问Qwant 搜索MechanicalSoup，并打印搜索的结果。例子用起来非常的简单，和以前的不一样的地方就是变得更方便了，我们一口气就进行了网站的获取和解析了，最关键的是解析的规则还是很规范的，轻松的获得了我们需要的内容。

"""Example usage of MechanicalSoup to get the results from the Qwant
search engine.
"""import re
import mechanicalsoup
import html
import urllib.parse# Connect to Qwant
browser = mechanicalsoup.StatefulBrowser(user_agent='MechanicalSoup')
browser.open("https://lite.qwant.com/")# Fill-in the search form
browser.select_form('#search-form')
browser["q"] = "MechanicalSoup"
browser.submit_selected()# Display the results
for link in browser.page.select('.result a'):# Qwant shows redirection links, not the actual URL, so extract# the actual URL from the redirect link:href = link.attrs['href']m = re.match(r"^/redirect/[^/]*/(.*)$", href)if m:href = urllib.parse.unquote(m.group(1))print(link.text, '->', href)

结果如下：

Welcome to MechanicalSoup’s documentation! — MechanicalSoup 1.1.0 ...  -> aHR0cHMlM0ElMkYlMkZtZWNoYW5pY2Fsc291cC5yZWFkdGhlZG9jcy5pbyUyRmVuJTJGc3RhYmxlJTJGMechanicalSoup · PyPI  -> aHR0cHMlM0ElMkYlMkZweXBpLm9yZyUyRnByb2plY3QlMkZNZWNoYW5pY2FsU291cCUyRg==推荐一款小众且好用的 Python 库 - MechanicalSoup - 简书  -> aHR0cHMlM0ElMkYlMkZ3d3cuamlhbnNodS5jb20lMkZwJTJGZGNmZjgzNGQxNzQ4神器-MechanicalSoup - 腾讯云开发者社区-腾讯云  -> aHR0cHMlM0ElMkYlMkZjbG91ZC50ZW5jZW50LmNvbSUyRmRldmVsb3BlciUyRm5ld3MlMkYzNjg4NjA=简书 - 创作你的创作  -> aHR0cHMlM0ElMkYlMkZ3d3cuamlhbnNodS5jb20lMkZwJTJGNDQ2YzJmODdiNzEypython之mechanicalsoup：官方也有两个坑 - 知乎  -> aHR0cHMlM0ElMkYlMkZ6aHVhbmxhbi56aGlodS5jb20lMkZwJTJGMjkyNTMyMDQ=GitHub上3k+star的python库你了解吗？详解 ...  -> aHR0cHMlM0ElMkYlMkZibG9nLmNzZG4ubmV0JTJGd2VpeGluXzQxODQ2NzY5JTJGYXJ0aWNsZSUyRmRldGFpbHMlMkYxMDQzNTU1MDM=GitHub上3k+star的python库你了解吗？详解 ...  -> aHR0cHMlM0ElMkYlMkZ6aHVhbmxhbi56aGlodS5jb20lMkZwJTJGMTA3MzQ3MTE3再推荐一款小众且好用的 Python 库_Python数据之道的 ...  -> aHR0cHMlM0ElMkYlMkZibG9nLmNzZG4ubmV0JTJGbGVtb25iaXQlMkZhcnRpY2xlJTJGZGV0YWlscyUyRjExNTMyNzA0Nw==再推荐一款小众且好用的 Python 库 - MechanicalSoup ...  -> aHR0cHMlM0ElMkYlMkZqdWVqaW4uY24lMkZwb3N0JTJGNjk0MjgwOTM4MjU0NzYxOTg3Ng==

我们打印出的是我们通过规则和正则解析出的，我们需要的内容，包含了网页的名称和地址。

登录 GitHub

使用 MechanicalSoup 最简单的方法是使用该类（此示例在 MechanicalSoup 的源代码中StatefulBrowser作为示例example.py提供）：

"""Example app to login to GitHub using the StatefulBrowser class.NOTE: This example will not work if the user has 2FA enabled."""import argparse
from getpass import getpassimport mechanicalsoupparser = argparse.ArgumentParser(description="Login to GitHub.")
parser.add_argument("username")
args = parser.parse_args()args.password = getpass("Please enter your GitHub password: ")browser = mechanicalsoup.StatefulBrowser(soup_config={'features': 'lxml'},raise_on_404=True,user_agent='MyBot/0.1: mysite.example.com/bot_info',
)
# Uncomment for a more verbose output:
# browser.set_verbose(2)browser.open("https://github.com")
browser.follow_link("login")
browser.select_form('#login form')
browser["login"] = args.username
browser["password"] = args.password
resp = browser.submit_selected()# Uncomment to launch a web browser on the current page:
# browser.launch_browser()# verify we are now logged in
page = browser.page
messages = page.find("div", class_="flash-messages")
if messages:print(messages.text)
assert page.select(".logout-form")print(page.title.text)# verify we remain logged in (thanks to cookies) as we browse the rest of
# the site
page3 = browser.open("https://github.com/MechanicalSoup/MechanicalSoup")
assert page3.soup.select(".logout-form")

看了整个登入的代码流程，登入到github的流程是一气呵成的，就像我们在网页上输入账号密码，点击按钮进行登入一样，方便快捷，这也是我觉得MechanicalSoup值得推荐的原因了。