爬虫-python（三）百度搜索关键词后爬取搜索结果

9点49，老婆孩子都睡着了，继续搞。

第1篇写了访问百度并打印页面源码，似乎没什么实际意义，这次弄个有点用的，就是百度中输入指定关键词后搜索，然后获取搜索结果第一页（翻页后面会陆续写）。

比如我们输入‘博客园’，下面是查询结果（为啥写博客园不写CSDN呢，因为最早是博客是在博客园里写的，现在自己转发到CSDN，不改了）：

这个时候我们看下浏览器中url地址，大概是这个样子的

好老长，我们去除掉一些看不懂的部分，只保留ie 和wd 这2个参数试下能否正常访问

可以的访问，现在我们把这个url复制到代码中看下

https://www.baidu.com/s?ie=utf-8&wd=%E5%8D%9A%E5%AE%A2%E5%9B%AD

发现变化了没，wd=博客园变成了 wd= %E5%8D%9A%E5%AE%A2%E5%9B%AD,这个是浏览器对url做了编码转换。

所以当写爬虫时也需要将含中文或者特殊字符的关键词参数做编码转换，上代码：
复制代码

from urllib.request import urlopen
from urllib.request import Request
from fake_useragent import UserAgent
from urllib.parse import urlencode#设置request header
ua = UserAgent()
headers = {"User-Agent":ua.random
}#拼接url
args = {"ie":"utf-8","wd":"博客园"
}
url = "https://www.baidu.com/s?{}".format(urlencode(args))#封装request
request = Request(url,headers=headers)# 发送请求，获取服务器给的响应
response = urlopen(request)# 读取结果,无法正常显示中文
html = response.read()# 进行解码操作，转为utf-8
html_decode = html.decode()# 打印结果
print(html_decode)

爬虫-python（三）百度搜索关键词后爬取搜索结果相关推荐

爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果
之前写过一个用urllib.request 爬取百度搜索后结果的小文章百度搜索关键词后爬取搜索结果这次用requests库实现下搜狗搜索后查询,代码 import requests from fa ...
python爬虫学习(三)：使用re库爬取淘宝商品，并把结果写进txt文件
第二个例子是使用requests库+re库爬取淘宝搜索商品页面的商品信息 (1)分析网页源码打开淘宝,输入关键字"python",然后搜索,显示如下搜索结果从url连接中可以得 ...
爬虫python教程百度云_《爬》字意思读音、组词解释及笔画数 - 新华字典 - 911查询...
基本词义 ◎ 爬 pá 〈动〉 (1) (形声.从爪,巴声.爪,手爪.本义:搔,爬梳) (2) 同本义 [scratch] 爬,搔也.--<广韵> 怯烦类决痈,惬兴剧爬疥.--韩愈等< ...
【Python爬虫教学】百度篇·手把手教你抓取百度搜索关键词后的页面源代码
[开门见山] 最近整理了下之前做过的项目,学的东西不少,乱七八糟.打算写点关于 Python 爬虫的东西,新人一枚,还望大佬们多多担待,别把我头给打歪了. 前面我先磨叽磨叽些基础的东西,对爬虫新人友好 ...
Python爬虫:运用多线程、IP代理模块爬取百度图片上小姐姐的图片
Python爬虫:运用多线程.IP代理模块爬取百度图片上小姐姐的图片 1.爬取输入类型的图片数量(用于给用户提示) 使用过百度图片的读者会发现,在搜索栏上输入关键词之后,会显示出搜索的结果,小编想大多 ...
python3爬虫系列03之requests库：根据关键词自动爬取下载百度图片
python3爬虫系列03之requests库:根据关键词自动爬取下载百度图片 1.前言在上一篇文章urllib使用:根据关键词自动爬取下载百度图片当中,我们已经分析过了百度图片的搜索URL的变化 ...
python爱心代码_百度搜索指数的爬取方法及代码
最近几年经常在各平台看到有关「搜索指数动态排行」的视频,比如「青春有你2」决赛前一周,我在B站上传了一段「青你2」和「创造营2020」的人气选手指数动态榜的视频: 「青春有你2」VS「创造营2020」 ...
Python爬虫实例（2）-用BeautifulSoup爬取一个网页上的多张照片（以百度贴吧为例）
上一篇博客,实现了下载一张图片的简单爬虫.但是其代码,仅仅能下载一张图片.爬虫作为数据分析的第一步工作,需要爬取的是海量数据:假设我想下载一个网站几十张图片,那怎么实现呢? 首先,我们利用框图或者伪代 ...
Python实践 - 网络爬虫笔记 - 2、从网站上爬取公开信息
Python实践笔记 - 2.从网站上爬取公开信息张板书的Python的实践笔记,包括笔记与DeBug的经历. 为了完成一个比较麻烦的实习任务,尝试着做了这样一个爬虫项目. 任务要求之一是要检索安徽 ...
爬虫入门—requests模块基础之关键字搜狗搜索信息页面爬取
爬虫入门-requests模块基础之关键字搜狗搜索信息页面爬取 Author: Labyrinthine Leo Init_time: 2021.02.16 Key Words: Spider.r ...

爬虫-python（三）百度搜索关键词后爬取搜索结果

爬虫-python（三）百度搜索关键词后爬取搜索结果相关推荐

最新文章

热门文章

爬虫-python（三） 百度搜索关键词后爬取搜索结果

爬虫-python（三） 百度搜索关键词后爬取搜索结果相关推荐

最新文章

热门文章

爬虫-python（三）百度搜索关键词后爬取搜索结果

爬虫-python（三）百度搜索关键词后爬取搜索结果相关推荐