如何获取web视频数据流的传输?小姐姐的视频都被我爬下来了，这谁顶得住

2024-05-12 11:04:48

大家好，我是辣条。

效果展示

爬取目标

网站：六间房

工具使用

开发工具：pycharm 开发环境：python3.7， Windows10 使用工具包：requests，lxml

重点学习内容

动态数据抓取
requests使用
json数据获取

项目思路解析

第一步，明确自己需要获取的网页地址信息，要先清楚的自己的采集目标，今天采集的数据是六间房的小视频数据。

当前网页数据可以明显看出是动态数据，找到对应数据接口，获取到视频的播放地址，动态数据获取的话首先打开抓包工具（爬虫必备技能就不做过多介绍）刷新网页数据进行页面的数据加载，找到动态数据。

确定自己需要的数据，在headers里找到请求的url地址，对网址发送请求（尽量做爬虫的时候都带上请求头不要像我。。。将数据转换成字典格式，取出字典里content里的list 循环取出列表每个视频数据，拿到数据里的视频播放地址和视频标题，保存对应视频数据。

简易源码分享

import requests


url = 'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page=1&pagesize=25'
response = requests.get(url).json()
content = response['content']['list']
for i in content:playurl = i['playurl'] # 视频播放地址title = playurl.split('-')[1] # 名称存储名称# 视频下载video = requests.get(playurl).content # 请求视频地址# 文件存储  文件存储路径   文件读写方式  b 进制文件读写  a文件存在就追加 不存在就新建f = open('./VIdeo/{}'.format(title), 'ab')f.write(video)f.close()print('{}下载完成...'.format(title))

最后给大家分享腾讯，阿里，字节跳动，很有意思的一张对比图！

从BAT到BAT，只是从Baidu换成了ByteDance，曾经的BTA，是PC时代的霸主，如今的BAT，是移动互联网的霸主。

二十世纪的，第一个十年，是靠搜索的百度国内称王，第二个十年，是靠算法的字节走向世界。

第三个十年，会是谁独树一帜站上顶点，又会是谁让位谁上位？

如何获取web视频数据流的传输?小姐姐的视频都被我爬下来了，这谁顶得住相关推荐

pyqt5练手项目-抖音小姐姐短视频下载
pyqt5=Python+ qt,这块的资料现在慢慢多起来了,这里给大家送一个小的demo用来练手. 里面技术点: 1)控件 Pushbutton的使用: 2)pyqt5线程的用法; 3)界面和逻辑分 ...
太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~
点上方"菜鸟学Python",选择"星标" 第481篇原创干货,第一时间送达大家好,我是菜鸟哥!这个我第481篇原创! 今天又给大家带来一个有趣的Python ...
太刺激了！用python30行代码抓取虎牙上万个小姐姐跳舞视频，不说了，鼻血上来了···
关注我,每天分享软件测试技术干货.面试经验,想要领取测试资料.进入软件测试学习交流群的可以直接加群644956177~~ 很多小伙伴在平时看视频的时候,都喜欢看小姐姐的舞蹈视频.今天,小编就和大家一起 ...
【每日一具3】优美APP一款好用的短视频软件，优美APP专注于各种小姐姐短视频
随着网络的发展,快速兴起的除了游戏行业,另外一大头不得不说是短视频.大家无聊的时候都喜欢刷短视频打发一下时间,更是带动了短视频时代的高潮. 短视频这一块除了资讯.电影解说.三农等之外,最大的群体应当说 ...
Python爬一下抖音上小姐姐的视频～
image.png 在简书也码了1W多字了,发现还是爬虫类的文章看的人多. 算法工程师现在都啥价位了,你们还在看爬虫→_→ 介绍这次爬的是当下大火的APP--抖音,批量下载一个用户发布的所有视频. ...
Python爬虫之如何爬取抖音小姐姐的视频
介绍这次爬的是当下大火的APP--抖音,批量下载一个用户发布的所有视频.各位也应该知道,抖音只有移动端,官网打开除了给你个APP下载二维码啥也没有,所以相比爬PC网站,还是遇到了更多的问题,也花了更 ...
用 Python 分析 CSDN 小姐姐一年都做了啥
点击上方"CSDN",选择"置顶公众号" 关键时刻,第一时间送达! [CSDN 编者按]今天是 2017 年最后一天,在此向所有程序员朋友们道一声「新年快乐」, ...
JavaWeb - Servlet实现文件下载漂亮小姐姐视频(文末有小姐姐视频Gif图哦)
文件下载案例: * 文件下载需求:1. 页面显示超链接2. 点击超链接后弹出下载提示框3. 完成图片文件下载* 分析:1. 超链接指向的资源如果能够被浏览器解析,则在浏览器中展示,如果不能解析,则弹出 ...
Python制作词云视频，通过词云图来看小姐姐跳舞
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以点击下方链接自行获取 python免费学习资料 ...

最新文章

热门文章