python爬虫短片_Python爬虫练习：爬取全民小视频（附代码，过程）
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
本次目标
爬取全民小视频
https://quanmin.baidu.com/
确定目标网页
选择影视类目
右键选择检查，开发开发者工具
选择 Network，网页往下滑，可以看到数据加载
视频地址
视频名字
视频ID
接口数据链接是通过pn的变化，实现翻页效果
如果想要爬取其他分类视频，把参数中tab_name 更改即可
环境
Python3.6
pycharm
开始代码
导入工具
import pprint
import requests
相关库可以用 pip install 安装
请求、解析、爬取网页数据，并保存
url = 'https://quanmin.baidu.com/wise/growth/api/home/tabmorelist'
for page in range(1, 100):
params = {
'rn': '12',
'pn': '{}'.format(page),
'timestamp': '1603442730716',
'session_id': '1603442719704',
'tab_name': 'movie',
'_format': 'json',
}
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, params=params, headers=headers)
html_data = response.json()
lis = html_data['data']['list']['video_list']
for li in lis:
play_url = li['play_url']
title = li['title']
filename = 'C:\\Users\\Administrator\\Desktop\\新建文件夹\\' + title + '.mp4'
response_2 = requests.get(url=play_url, headers=headers)
with open(filename, mode='wb') as f:
f.write(response_2.content)
print(title, play_url)
运行代码，效果如下
python爬虫短片_Python爬虫练习：爬取全民小视频（附代码，过程）相关推荐
- python 爬小视频_Python爬虫练习：爬取全民小视频（附代码，过程）
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 本次目标 爬取全民小视频 https://quanmin.baidu.com ...
- Python爬取全民小视频网站视频，可爬取全站视频
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
- Python爬取全民小视频网站视频，可爬取全网视频！
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
- Python爬虫：Xpath爬取网页信息（附代码）
Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...
- 自动爬取bilibi小视频
自动爬取bilibi小视频 实验环境 实验步骤 第一步:查找request URL请求地址 第二步:代码实现 1.访问目标网址代码 2.下载情况展示 3.编写主函执行程序 实验环境 Chrome 浏览 ...
- 批量爬取app小视频
批量爬取app小视频 全名小视频app视频爬取 fiddler的安装与使用. 抓包分析,请求网址与post请求表单信息,为构建抓取某个up主下的全部视频信息做准备. 分析加密信息. 效果示意图: 将复 ...
- 爬虫百战（四）——爬取yy短视频
今天跟大家分享的是爬取YY网站短视频 本次爬取所有代码在本文结尾贴出 爬取YY短视频 准备工作 撸代码 准备工作 首先,我们本次爬取的网站URL为https://www.yy.com/sv. 点击链接 ...
- python房子代码_基于python的链家小区房价爬取——仅需60行代码！
简介 首先打开相关网页(北京链家小区信息). 注意本博客的代码适用于爬取某个城市的小区二手房房价信息. 如果需要爬取其他信息,可修改代码,链家的数据获取的基本逻辑都差不多. 效果展示 因为只需要60行 ...
- python爬取南京市房价_基于python的链家小区房价爬取——仅需60行代码
简介 首先打开相关网页(北京链家小区信息). 注意本博客的代码适用于爬取某个城市的小区二手房房价信息. 如果需要爬取其他信息,可修改代码,链家的数据获取的基本逻辑都差不多. 效果展示 因为只需要60行 ...
最新文章
- squid 安装、配置、优化
- Linux 中模拟延时和丢包的实现
- 网站外链优化需要注意哪些事项？
- To B 企业在营销、产品、服务端的破局之道
- ios 系统状态栏样式修改_iOS设置状态栏样式，statusBarStyle
- Swing中的一些对话框
- 基于jQuery的ajax系列之用FormData实现页面无刷新上传
- mysql 主键长度_MySQL 数据库，主键为何不宜太长长长长长长长长？
- java not a jpeg file_javax.imageio.IIOException: Not a JPEG file: starts with 0x47 0x49
- 安装好grunt,cmd 提示grunt不是内部或外部命令 怎么办？
- 使用说明_无线投屏器使用说明教程
- 根据ip做客户端gps定位
- 卡密社区源码无加密完整版（php源码+mysql脚本）
- 打工人福利！教你如何一秒制作日报月报
- 屏幕录像专家安装说明
- Cesium 多边形（polygon）extrudedHeight 和 height 的区别
- win7一点计算机就卡死,win7系统电脑经常卡住假死页面关不掉的解决方法
- CTFshow 愚人节欢乐赛 部分WP
- 电脑状态栏中，声音图标不见了怎么办？三招帮你找回！
- win7系统传奇如何架服务器,win7系统如何架设传奇服务端玩游戏更流畅