爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果

之前写过一个用urllib.request 爬取百度搜索后结果的小文章
百度搜索关键词后爬取搜索结果
这次用requests库实现下搜狗搜索后查询，代码

import requests
from fake_useragent import UserAgent#定义url
url = "https://www.sogou.com/web"#设置request header
ua = UserAgent()
headers = {"User-Agent":ua.random
}#交互输入关键字，封装至参数
kw = input('enter a key word:')
params = {"query":kw
}# 发送请求，获取服务器给的响应
response = requests.get(url=url,params=params,headers=headers)#数据存储
with open('./file/'+ kw + '.html','w',encoding='utf-8') as fw:fw.write(response.text)
#提示完成
print("爬取完成！")

对比下urllib.request ，增加了params参数，get请求不需要将参数用?参数1=1&参数2=2 这种样式拼接到url，也不需要注意中文的转码，还是很方便的。

爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果相关推荐

已解决（Python爬虫requests库报错请求异常SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool
成功解决(Python爬虫requests库报错请求异常,SSL错误,证书认证失败问题)requests.exceptions.SSLError: HTTPSConnectionPool(host= ...
python get方法列表参数_python中requests库get方法带参数请求
起因是想爬五等分的花嫁的漫画.这是其中的一个坑先上代码 data={ 'cid':567464, 'page':, 'key':'', 'language':1, 'gtk':6, '_cid':5 ...
【python】python爬虫requests库详解
1.安装:pip install requests 简介:Requests是一个优雅而简单的Python HTTP库,与之前的urllibPython的标准库相比,Requests的使用方式非常的简单 ...
接口测试 — 使用Requests库发送POST请求
POST请求用于向服务器提交数据,比如提交一个表单新建一个用户.或修改一个用户信息等操作. 对于POST请求,我们可以通过浏览器开发者工具或者其他外部工具来进行抓包,得到请求的URL.请求头(requ ...
Python爬虫——Requests 库基本使用
文章目录 Python爬虫--Requests 库基本使用 1.Requests简介和下载 2.Requests 库基本使用 Python爬虫--Requests 库基本使用 1.Requests简介 ...
知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?
前言: 在使用puppeteer自动爬取知乎上数据的时候,在登录的时候会报错: 10001:请求参数异常,请升级客户端后重试... 相信很多人在爬取知乎数据的时候也会碰到类似的问题,怎么解决呢? 解 ...
爬虫实战系列！淘宝店铺各品牌手机售卖信息爬取及可视化！
声明:本博客只是简单的爬虫示范,并不涉及任何商业用途. 一.前言最近博主在浏览淘宝时突然萌发了一个想爬它的念头,于是说干就干,我便开始向淘宝"下毒手"了.由于本人平时经常喜欢在淘 ...
爬虫能有多简单？看我三分钟教会你爬取百万图片。
什么是爬虫? 如果是没有接触过爬虫的人可能会有些许疑惑,爬虫是个什么东西呢?其实爬虫的概念很简单,在互联网时代,万维网已然是大量信息的载体,如何有效地利用并提取这些信息是一个巨大的挑战.当我们使用浏览 ...
【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据（免登陆）到生成词云
[Python爬虫实例学习篇]--5.[超详细记录]从爬取微博评论数据(免登陆)到生成词云个人博客地址:ht/tps://www.asyu17.cn/ 精彩部分提醒: (1)微博评论页详情链接为一个 ...

爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果

爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果相关推荐

最新文章

热门文章