Python爬取全民小视频网站视频，可爬取全站视频

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

开发工具

python 3.6.5
pycharm

import requests

确定目标网页

选择影视类目

右键选择检查，开发开发者工具

选择 Network，网页往下滑，可以看到数据加载
视频地址
视频名字
视频ID

接口数据链接是通过pn的变化，实现翻页效果

如果想要爬取其他分类视频，把参数中tab_name 更改即可

完整代码

import pprint
import requestsurl = 'https://quanmin.baidu.com/wise/growth/api/home/tabmorelist'
for page in range(1, 100):params = {'rn': '12','pn': '{}'.format(page),'timestamp': '1603442730716','session_id': '1603442719704','tab_name': 'movie','_format': 'json',}headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, params=params, headers=headers)html_data = response.json()lis = html_data['data']['list']['video_list']for li in lis:play_url = li['play_url']title = li['title']filename = 'D:\\python\\demo\\全民小视频\\视频\\' + title + '.mp4'response_2 = requests.get(url=play_url, headers=headers)with open(filename, mode='wb') as f:f.write(response_2.content)print(title, play_url)

Python爬取全民小视频网站视频，可爬取全站视频相关推荐

python爬虫短片_Python爬虫练习：爬取全民小视频（附代码，过程）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本次目标爬取全民小视频 https://quanmin.baidu.com ...
python 爬小视频_Python爬虫练习：爬取全民小视频（附代码，过程）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本次目标爬取全民小视频 https://quanmin.baidu.com ...
视频网站的工作原理--＞m3u8视频文件的提取与解析（理论）
目录一.视频网站的工作原理二.抓取视频步骤 2.1.找到m3u8文件 2.2.把m3u8下载到ts文件 2.3.ts文件合并为mp4文件一.视频网站的工作原理古老的视频网站的视频一般是在源码放 ...
计算机毕业设计Python+uniapp基于微信小程序的校园快递代取平台(小程序+源码+LW)
计算机毕业设计Python+uniapp基于微信小程序的校园快递代取平台(小程序+源码+LW) 该项目含有源码.文档.程序.数据库.配套开发软件.软件安装教程项目运行环境配置: Pychram社区 ...
Python爬取全民小视频网站视频，可爬取全网视频！
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python爬取微信小程序源代码_爬虫爬取微信小程序
之前打算做个微信小程序的社区,所以写了爬虫去爬取微信小程序,后面发现做微信小程序没有前途,就把原来的项目废弃了做了现在的网站观点,不过代码放着也是放着,还不如公开让大家用,所以我把代码贴出来,有需要的 ...
PHP做视频网站，让程序自动实现视频格式转换、设置视频大小、生成视频缩略图...
一.PHP实现转换在做视频网站的时候,最头痛的问题可能是格式转换.视频缩略图等.下面我将用PHP实现这一些功能.PHP是没有自带视频的函数,所以会用到第三方的软件工具来实现. 二.什么是FFmpeg ...
视频网站使用H265编码能提高视频清晰度吗？
大部分的视频直播点播的流媒体服务使用的都是H264编码,但是更为便捷的H265编码已经得到了发展,越来越多的人更加倾向于H265编码格式了.为什么呢?h265编码压缩率比H264提高了一倍之多,在使用 ...
[python爬虫] BeautifulSoup设置Cookie解决网站拦截并爬取蚂蚁短租
我们在编写Python爬虫时,有时会遇到网站拒绝访问等反爬手段,比如这么我们想爬取蚂蚁短租数据,它则会提示"当前访问疑似黑客攻击,已被网站管理员设置为拦截"提示,如下图所示.此时我 ...

Python爬取全民小视频网站视频，可爬取全站视频

前言

开发工具

确定目标网页

完整代码

Python爬取全民小视频网站视频，可爬取全站视频相关推荐

最新文章

热门文章