「免费学习 60+ 节公开课：投票页面，点击讲师头像」

作者 | linksc

译者 | 弯月，编辑 | 郭芮

来源 | CSDN（ID：CSDNnews）

自从2011年 Google Web Search API 被弃用以来，我一直在寻找其他的方法来抓取Google。我需要一种方法，让我的 Python 脚本从 Google 搜索中获取链接。于是，我自己想出了一种方法，而本文正是通过 requests 和 Beautiful Soup 抓取 Google 搜索的快速指南。

首先，让我们来安装一些依赖项。请将以下内容保存成文本文件 requirements.txt：

requests
bs4

接下来，运行 pip install -r requirements.txt 命令来安装依赖项。然后将其导入到你的脚本中。

import urllib
import requests
from bs4 import BeautifulSoup

为了执行搜索，你需要在URL中为 Google 提供查询参数。此外，所有空格都必须用+代替。为了构建URL，我们需要设置正确的查询格式，并其放入q参数中。

query = "hackernoon How To Scrape Google With Python"
query = query.replace(' ', '+')
URL = f"https://google.com/search?q={query}"

Google 会针对移动设备和台式机返回不同的搜索结果。因此，我们需要指定适当的用户代理。

# desktop user-agent
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:65.0) Gecko/20100101 Firefox/65.0"
# mobile user-agent
MOBILE_USER_AGENT = "Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36"

发送请求很简单。但是，requests需要将 user-agent 放在请求的头部。为了设置正确的头部，我们必须传给headers一个字典。

headers = {"user-agent" : MOBILE_USER_AGENT}
resp = requests.get(URL, headers=headers)

接下来，我们需要检查请求是否成功。最简单的方法是检查状态码。如果返回200，则表示成功。然后，我们需要将其放入 Beautiful Soup 中以解析内容。

if resp.status_code == 200:soup = BeautifulSoup(resp.content, "html.parser")

接下来是解析数据，并从页面提取所有的链接。我们可以利用 Beautiful Soup 简单地完成这项工作。在便利每个链接时，我们需要将结果存储到一个列表中。

results = []
for g in soup.find_all('div', class_='r'):anchors = g.find_all('a')if anchors:link = anchors[0]['href']title = g.find('h3').textitem = {"title": title,"link": link}results.append(item)
print(results)

这样就可以了。这个脚本非常简单，而且容易出错。但至少它能带你入门，从此你就可以编写自己的 Google 爬虫了。你可以从 GitHub上下载整个脚本，地址是：

https://github.com/getlinksc/scrape_google

原文链接：

https://hackernoon.com/how-to-scrape-google-with-python-bo7d2tal

（*本文为AI科技大本营转载文章，转载请联系作者）

◆

精彩推荐

◆

点击阅读原文，或扫描文首贴片二维码

所有CSDN 用户都可参与投票和抽奖活动

加入福利群，每周还有精选学习资料、技术图书等福利发送

推荐阅读

• 2019，不可错过的NLP“高光时刻”

• 代替Mask R-CNN，BlendMask欲做实例预测任务的新基准？

• 300多局点，数据接入量超过2TB/S，华为用AI优化数据中台 | BDTC 2019

• 达摩院 2020 预测：感知智能的“天花板”和认知智能的“野望”

• 十大新兴前端框架大盘点

• 门限签名技术火了，它的硬核之处绝不仅仅是秘密共享……

• 2020 年，陆奇 59 岁：我给 20、30、40 岁年轻人的建议

• 

  你点的每个“在看”，我都认真当成了AI