1--request模块

案例一、百度翻译

import requests
# 爬取网站：https://fanyi.baidu.com
url = "https://fanyi.baidu.com/sug"s = input("请输入要翻译的英文单词")
dat = {"kw": s
}# 发送post请求，发送的数据必须放在字典中，通过data参数进行传递
resp = requests.post(url, data=dat)
print(resp.json())

百度翻译在搜索时，sug里面的kw会发生变化，我们定义一个字典来改变这里的值

代码输出：

案例二、豆瓣排行榜

数据在没有在源代码中，需要js加载

其中js就在下方的网址中

Request URL: https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=0&limit=20

并且其中的封装的参数如下

其中，每一次加载数据，只有limit在更新

import requests# 爬取网站 https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=
# 需要加载的js地址：https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=0&limit=20
# #这个连接中？后的为数据
url = "https://movie.douban.com/j/chart/top_list"# 重新封装参数
param = {"type": 24,"interval_id": "100:90","action": "","start": 0,"limit": 20
}# resp = requests.get(url=url, params=param)
#
# # 输出地址
# print(resp.request.url)
#
# print(resp.request.headers)# #重新定义User-Agent
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3878.400 QQBrowser/10.8.4518.400"
}
resp = requests.get(url=url, params=param, headers=header)
print(resp.text)
print(resp.json())
resp.close()   # 关掉resp

1--request模块相关推荐

python request-Python之request模块-基础用法
Request模块 1.查看pip已装包(模块)的安装信息(模块的路径.版本.模块说明) 语法:pip show 模块名例子:pip show requests 2.发送请求当然还有其他的请求方式 ...
node.js的request模块
request模块让http请求变的更加简单.最简单的一个示例: 1: var request = require('request'); 2: 3: request('http://www.goog ...
Request模块基本常识
文章目录 Request模块简介发送请求: r.text 定制请求头: 添加请求头 Form表单提交数据 POST传递数据响应状态码响应头 Cookie 重定向与请求历史重定向处理重定向超 ...
dojo/request模块整体架构解析
总体说明做前端当然少不了ajax的使用,使用dojo的童鞋都知道dojo是基于模块化管理的前端框架,其中对ajax的处理位于dojo/request模块.一般情况下我们使用ajax请求只需要引入do ...
python中request方法_如何使用python语言中的request模块获取代码
在python设计语言中,可以使用request第三方包获取请求的参数等,可以利用请求路径获取静态代码,查看相关请求参数和指标等.下面利用一个实例说明request模块获取代码和参数,操作如下: 工具 ...
python flask的request模块以及在flask编程中遇到的坑
一.首先来讲讲遇到的坑: 1.linux下package的打包引用: 1 """ 2 路径结构如下: 3 ./project 4 ./bin 5 ./api 6 &quo ...
07.26爬虫request模块之药监局学习笔记
### request模块之药监局代码部分 #动态加载数据 #url基本一致只是id不一样 #详情页的也是动态加载出来的 #就意味着只要可以获取到id在将其带入到url中,但是首先怎么获得,其次怎么拼 ...
爬虫----request简介（以及urllib模块和request模块保存图片区别）
request模块简介 request模块一.安装二.request常用方法三.响应对象response的方法保存图片案例 request模块保存图片 request模块第一种保存图片的方 ...
【Python3爬虫(二)】【urlib.request模块】【付费代理+auth认证】
上一篇:[Python3爬虫(一)][urlib.request模块][urlopen+get请求加参数+header请求头+User-Agent+IP代理] ++++++++++开始线+++++++ ...
阿里巴巴逆向js，request模块获取数据
python爬虫案例(电商平台) 阿里巴巴平台request模块获取数据前言一.逆向解析阿里巴巴平台详情页面的sign值二.在请求头中加入sign值获取数据 1>获取评论成交数数据 2&g ...

1--request模块

案例一、百度翻译

案例二、豆瓣排行榜

1--request模块相关推荐

最新文章

热门文章