一、实现的目标

输入一个关键词就可以进行百度搜索，然后获取搜索到的页面信息，最后再放入到文件中随时查看。

二、代码编写

方法一：

代码如下：

import requests #导入request包
url = "https://www.baidu.com/s?" #需要爬虫的地址
header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'
}#在头部加入请求载体的身份标识，来进行UA伪装来绕过UA检测，必须放在字典中content = input("请输入需要查询的内容：")
url_last = url + 'wd=' + f'{content}' + '&pn=0' #需要爬的url地址#print (url_last)
res = requests.get(url_last,headers=header)
#print (res.url)
with open('1.8-1.html','w',encoding='utf-8') as file:file.write(res.text) ##在请求到的数据放在目录下18-1.html文件中.
print ("已经爬到网页数据啦，去目录下打开1.8-1.html看看吧！")

输出结果：

注：UA伪装是为了让爬虫对应的请求载体身份标识伪装成某一款浏览器。所以我们需要自定义user-agent头部信息，来绕过UA检测，我们把它放入一个字典中

方法二：

代码如下：

import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'
}
url = "https://www.baidu.com/s"
content = input("请输入需要查询的内容：")
param={'wd':content,'pn':0
}    #params查询参数，以字典形式封装
res = requests.get(url,params=param,headers=header)
#print (res.url)
with open('1.8-2.html','w',encoding='utf-8') as file:file.write(res.text) ##在请求到的数据放在目录下18-1.html文件中.
print ("已经爬到网页数据啦，去目录下打开1.8-2.html看看吧！")

输出结果：

三、案例测试

打开写入的1.8-1和1.8-2文件

python爬虫——GET请求百度关键词搜索案例相关推荐

python爬虫——POST请求百度翻译案例（最后制作成小程序）
一.实现的目标输入一个英文单词就可以进行百度翻译成中文,将输入的英文单词翻译到的所有信息打印出来,最后通过pyinstaller打包成小程序运行. 二.代码编写方法一: 代码如下: import ...
Python爬虫之破解百度翻译--requests案例详解（二）
这节课我们接着上节课的内容,继续学习requests之破解百度翻译案例.我们上节课已经知道了解题思路,这节课我们来看看代码怎么写. 1.首先导入requests模块 ** ** ** ** 2.获取请 ...
Python爬虫之破解百度翻译--requests案例详解（一）
们通过requests模块讲了简单的网页采集方法,这一节课我们讲一下怎么用requests模块破解百度翻译.其中包含的知识点有post请求.Jason.异步加载等内容.这节课由于信息量比较大,所以分两 ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫爬取百度文档
使用python爬虫爬取百度文档文字话不多说,直接上代码! import requests import reheaders = {"User-Agent": "Moz ...
python爬虫——https请求
python爬虫--https请求 from urllib.request import Request,urlopen from fake_useragent import UserAgent im ...
python爬虫抓取百度图片_Python爬虫抓取百度的高清摄影图片
成果预览: 源代码: import requests import re url = 'https://image.baidu.com/search/index' headers = { 'User- ...
百度关键词搜索量优化--搜索引擎关键词优化推广问题
网站关键词搜索流量优化提升是互联网网站访问流量的主要来源,也是网站最基本的访问来源之一.据调查研究,在这些流量来源中百度搜索引擎的来源占据主要流量部分.因此,对百度搜索引擎搜索流量的优化是至关重要的, ...
python爬虫爬取百度贴吧图片，requests方法
每天一点点,记录学习近期爬虫项目,看完请点赞哦---: 1:python 爬取菜鸟教程python100题,百度贴吧图片反爬虫下载,批量下载 2:python爬虫爬取百度贴吧图片,requests方 ...
【Python爬虫教学】百度篇·手把手教你抓取百度搜索关键词后的页面源代码
[开门见山] 最近整理了下之前做过的项目,学的东西不少,乱七八糟.打算写点关于 Python 爬虫的东西,新人一枚,还望大佬们多多担待,别把我头给打歪了. 前面我先磨叽磨叽些基础的东西,对爬虫新人友好 ...

python爬虫——GET请求百度关键词搜索案例

一、实现的目标

二、代码编写

方法一：

方法二：

三、案例测试

python爬虫——GET请求百度关键词搜索案例相关推荐

最新文章

热门文章