爬虫之requests模块发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?,那么该问号后边的就是请求参数,又叫做查询字符串

1.1 在url携带参数

直接对含有参数的url发起请求

import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}url = 'https://www.baidu.com/s?wd=python'response = requests.get(url, headers=headers)print(response.content.decode())

运行效果:

1.2 通过params携带参数字典

​ 1.构建请求参数字典

​ 2.向接口发送请求的时候带上参数字典,参数字典设置给params

示例代码:

import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw)print(response.content)

运行效果:

爬虫之requests模块发送带参数的请求相关推荐

  1. 爬虫之requests模块发送带header的请求

    爬虫之requests模块发送带header的请求 我们先写一个获取百度首页的代码 import requestsurl = 'https://www.baidu.com'response = req ...

  2. 爬虫之requests模块在headers参数中携带cookie发送请求

    爬虫之requests模块在headers参数中携带cookie发送请求 网站经常利用请求头中的Cookie字段来做用户访问状态的保持,那么我们可以在headers参数中添加Cookie,模拟普通用户 ...

  3. 爬虫之requests模块发送post请求

    爬虫之requests模块发送post请求 思考:哪些地方我们会用到POST请求? 登录注册( 在web工程师看来POST 比 GET 更安全,url地址中不会暴露用户的账号密码等信息) 需要传输大文 ...

  4. 爬虫之requests模块中cookies参数的使用

    爬虫之requests模块中cookies参数的使用 上一篇文章在headers参数中携带cookie,也可以使用专门的cookies参数 cookies参数的形式:字典 cookies = {&qu ...

  5. response响应对象参数和方法是啥?怎么发送带请求头的请求(headers参数)怎么发送带参数的请求?cookieJar的转换方法是什么?

    在python里所有变量都是对象 import requestsurl = 'http://www.baidu.com/'respone = requests.get(url)# 参数 # 响应的ur ...

  6. python实现get请求 模块_python爬虫 基于requests模块发起ajax的get请求实现解析

    基于requests模块发起ajax的get请求 需求:爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据 用抓包工具捉取 使用ajax加载页面的请求 鼠标往下 ...

  7. requests模块发送带headers的Get请求和带参数的请求

    1.在PyCharm开发工具中新建try_params.py文件: 2.try_params.py文件中编写代码: import requests#设置请求Headers头部header = {&qu ...

  8. Python爬虫开发:requests库的使用--发送带参数post请求

  9. Python爬虫开发:requests库的使用--发送带参数get请求

最新文章

  1. 杜克大学出来的NBA球星有哪些?
  2. 如何在ABAP Development Tool里只显示能在SAP云平台上使用的ABAP资源
  3. flex java red5_使用 Flex 和Java servlets 将文件上传到 RED5 服务器的步骤
  4. Manjaro 17 搭建 redis 4.0.1 集群服务
  5. Java快速开发框架LML简介
  6. 信息学奥赛C++语言:趣味整数2(亲密数)
  7. python随机生成奇数_python实现按照给定范围随机生成小数,偶数,奇数,整数,正态分布,均匀分布数据以及图片...
  8. 荣耀Magic4核心配置曝光:最强驯龙高手 性能远超iPhone 13 Pro
  9. matlab画图标签,Matlab绘图
  10. MVC架构下,使用NPOI读取.DOCX文档中表格的内容
  11. TransCAD实用技术梗概
  12. 我国中药产业的国际竞争力研究
  13. MSNMessenger忌讳用法大全(转)
  14. 正则表达式与有限自动机
  15. php刮刮卡代码,基于PHP代码实现中奖概率算法可用于刮刮卡、大转盘等抽奖算法_php实例...
  16. 工具善其事,必先被苦逼的其器所钝伤然后打磨之才能利其器
  17. python爬虫 获取学信网 学校与对应专业信息
  18. 不给客户添麻烦的 阿拉丁
  19. 软件------关于spacedesk分屏软件的使用说明(包括下载和具体启动方式)
  20. 更新xcode至12.3,编译报错Building for iOS, but the linked and embedded framework ‘xxx.framework’ was buil...

热门文章

  1. CSDN 星城大巡礼,长沙“科技之星”年度企业评选正式开启
  2. ​我国科学家成功研制全球神经元规模最大的类脑计算机
  3. 2019年,自动化机器学习AutoML技术还火吗? | BDTC 2019
  4. IEEE分享 | 机器学习在领英的规模化应用
  5. 小冰负责人李笛:微软不缺钱,缺对未来的把握
  6. 好玩,新版微信除了“炸屎”,还可以和她亲亲
  7. Spring Boot 2.3.0 新特性:优雅停机!
  8. 为什么阿里巴巴要禁用Executors创建线程池?
  9. SpringBoot第十七篇:上传文件
  10. Datawhale团队第六期录取名单!