想学一下怎样用python爬取百度搜索页面，因为是第一次接触爬虫，遇到一些问题，把解决过程与大家分享一下

1.使用requests爬取网页

首先爬取百度主页www.baidu.com

import requests

url = "http://www.baidu.com"

html = requests.get(url)

print(html.text)

很简单，调用get函数，传入url，就能提取出页面元素

但打印出来发现百度主页上的中文全部成了乱码，这是因为爬来的数据中没有指定编码格式，编码默认设置为ISO-8891-1，加入一行代码指定编码格式可以解决：

import requests

url = "http://www.baidu.com"

html = requests.get(url)

html.encoding = html.apparent_encoding

print(html.text)

人为指定html.encoding = "utf-8"也能解决中文乱码问题

2.

百度搜索页面的url格式为"http://www.baidu.com/s?"与"wd=搜索关键词"、"pn=从第几个搜索项开始"等片段拼接起来的，不同片段间用&隔开，其中pn从0开始计数，一页有10个搜索项，所以从第n页开始搜索，pn应填为页数*10

如搜索CSDN，从第5个搜索项开始，url为"http://www.baidu.com/s?wd=CSDN&pn=4"

上面几行代码能爬到百度主页，但爬不到百度的搜索页面，因为没有对请求头进行设置，User-Agent默认为Python，被屏蔽了

需要在requests.get()的时候将字典类型、包含"User-Agent"的headers传入

火狐浏览器的UA查看方法：打开百度搜索页面，右键 -> “检查元素” -> 点进“网络”标签 -> 右上角那一排里选择只查看"HTML" -> 点击一个"GET"到的文件 -> 右边拖到最下面，就是User-Agent

注意这里显示的UA可能省略了一部分，双击展开才能复制全

3.

我在网上找到的文章，很多到上面这一步就结束了解决问题了，但我自己试的时候仍然是“网速不给力”，或者虽然获得的内容多了一些，但是说“网络不存在，请检查网址是否正确”

经过尝试，发现需要在headers里面再加一项，就是查看UA那里，把Accept项也加到请求头里，就能解决

我还遇到过url里面只要pn大于0就爬不到数据，也是因为请求头没有填写完全的缘故

实际上，建议你在填写请求头的时候，干脆直接把你浏览器中的每一项都填进去，毕竟你的浏览器用这个请求头能够正常打开网页，你在代码里也用这个请求头多半是没有问题的

import requests

request_headers = {

"accept":"...",

"user-agent":"...",

"accept-encoding":"...",

"accept-language":"...",

"connection":"...",

"cookie":"...",

"host":"...",

"upgrade-insecure-requests":"..."

}

url = "http://www.baidu.com"

html = requests.get(url, headers=request_headers)

html.encoding = html.apparent_encoding

print(html.text)

网上的很多教程，只填了UA就完事了，实在是很误导人，我以为问题出在代码的其他部分，浪费了很多时间

原文链接:https://blog.csdn.net/sinat_26472165/article/details/105031970