Python爬虫实战之三：requests-百度/360搜索关键词提交

2024-06-01 12:14:52

本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》（by 嵩天北京理工大学）学习笔记。代码段均可在ide中运行by now(2021-12-01).

1.爬取目标

爬取的是百度/360搜索某个关键词返回的页面信息。

首先看一下百度请求数据的url长下面这样，这里搜索的是关键词字符串是‘Python’。

360搜索关键词'Python'的url及返回是下面这样的：

2.爬取链接

百度搜索url: http://www.baidu.com/s

360搜索url: http://www.so.com/s

3.技术路线

继续深入了解requests方法的参数，在上一讲headers参数上又增加新参数‘params’的使用。

上一讲地址：

Python爬虫实战之二：requests-爬取亚马逊商品详情页面_miracle2me的专栏-CSDN博客

本讲关键方法：requests.get(url,headers,params)

参数解释：

url:需要爬取的网址

headers:以键值对形式传入浏览器的user-agent

params:参数，针对本项目需要传入的请求关键词

4.全代码及输出

百度搜索代码

# 百度搜索全代码
# 全代码
url ='http://www.baidu.com/s'
keyword ='Python'
kv = {'wd':keyword}
try:headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3878.400 QQBrowser/10.8.4518.400'}r= requests.get(url,headers = headers,params = kv)r.raise_for_status()r.encoding= r.apparent_encodingprint(r.text[:2000])
except:print('爬取失败')

百度关键词爬取结果

上图左边是使用爬虫爬取的网页文本，右边是网页源代码文件，结果一致，爬取成功。

360搜索代码

# 360搜索全代码
# 全代码
url ='http://www.so.com/s'
keyword ='Python'
kv = {'q':keyword}
try:headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3878.400 QQBrowser/10.8.4518.400'}r= requests.get(url,headers = headers,params = kv)r.raise_for_status()r.encoding= r.apparent_encodingprint(r.text[:2000])
except:print('爬取失败')

360关键词爬取结果

上图左为爬虫爬取结果，右为网页源代码，结果一致，爬取成功。

5.总结

本案例在实战案例二基础上增加了'params'参数的应用。params传入的是一个键值对，键名各平台可能有差异，如百度搜索传入键值对形式是{'wd':keyword}，360搜索键值对形式为{'q':keyword}。

Python爬虫实战之三：requests-百度/360搜索关键词提交相关推荐

百度/360搜索关键词提交
import requests key="python" kv={'wd':key} url="http://www.baidu.com/s try: r=request ...
Python爬虫实战，requests模块，爬虫采集网易财经股票交易数据
前言本文给大家分享的是如何通过Python爬虫采集网易财经易数据开发工具 Python版本: 3.8 相关模块: requests模块 parsel模块环境搭建安装Python并添加到环境变量 ...
Python爬虫实战，requests+parsel模块，爬取二手房房源信息数据
前言最近在尝试用Python爬虫二手房房源信息数据,在这里给需要的小伙伴们提供代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本 ...
Python爬虫实战，requests+re模块，Python实现爬取豆瓣电影《魔女2》影评
前言闭关几个月,今天为大家带来利用Python爬虫抓取豆瓣电影<魔女2>影评,废话不多说. 爬取了6月7月25的影片数据,Let's start happily 开发工具 Python版 ...
python爬虫实战——自动下载百度图片（文末附源码）
用Python制作一个下载图片神器前言这个想法是怎么来的? 很简单,就是不想一张一张的下载图片,嫌太慢. 在很久很久以前,我比较喜欢收集各种动漫的壁纸,作为一个漫迷,自然是能收集多少就收集多少.小 ...
Python爬虫实战，requests+tqdm模块，爬取漫画数据（附源码）
前言今天给大家介绍的是Python爬取漫画数据,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本数据爬取 ...
Python爬虫实战，requests+openpyxl模块，爬取手机商品信息数据（附源码）
前言今天给大家介绍的是Python爬取手机商品信息数据,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本 ...
Python爬虫实战，requests+openpyxl模块，爬取小说数据并保存txt文档（附源码）
前言今天给大家介绍的是Python爬取小说数据并保存txt文档,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样 ...
#私藏项目实操分享#Python爬虫实战，requests模块，Python实现爬取网站漫画
前言今天带大家爬取爬取网站漫画,废话不多说,直接开始~ 开发工具 Python版本:3.6.4 相关模块: requests模块: re模块: shutil模块: 以及一些Python自带的模块. ...
python爬虫实战——运用requests批量下载qq音乐
python -qq音乐爬取在学习一段时间后,在视频的讲解下,觉得自己掌握的不错,就开始了这一次的qq音乐的爬取,在爬取的过程中发现了很多问题.知识点掌握的不够,知识点掌握的不熟,例如:正则表达式的 ...

最新文章

热门文章