python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕(附源码)
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
Python爬虫、数据分析、网站开发等案例教程视频免费在线观看
https://space.bilibili.com/523606542
基本开发环境
Python 3.6
Pycharm
相关模块的使用
import requests
斗鱼直播视频弹幕爬取分析
斗鱼就选择的直播视频,毕竟大主播弹幕发送会多一些。
复制其中一条弹幕,复制在开发者工具当中进行搜索。就可以看到相对应的弹幕数据。
一个url地址,是包含了500条弹幕数据。
url地址有三个参数:
vid:视频ID (不改变的)
start_time:视频开始的时间
end_time:不改变的
前500条弹幕数据开始的时间是0,就是从视频最开始的时候,下一个开始的时候是可以在数据中找到的。
end_time:500条弹幕数据结束的时间,那不就是下一次弹幕数据开始的时间嘛。
最后一次的弹幕url地址:end_time:-1 ,所以给一个判断跳出循环即可。
完整实现代码
import requests
url = 'https://v.douyu.com/wgapi/vod/center/getBarrageList?vid=Bjq4MeYNqLxM5Ea8&start_time=0&end_time=-1'
while True:
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
html_data = response.json()
next_time = html_data['data']['end_time']
lis = html_data['data']['list']
for li in lis:
barrage = li['ctt']
with open('dy弹幕.txt', mode='a', encoding='utf-8') as f:
f.write(barrage)
f.write('\n')
print(barrage)
url = f'https://v.douyu.com/wgapi/vod/center/getBarrageList?vid=Bjq4MeYNqLxM5Ea8&start_time={next_time}&end_time=-1'
if next_time == -1:
break
总计弹幕数量:8627
词云效果
虎牙直播视频弹幕爬取分析
主播那肯定是选择
分析思路和斗鱼弹幕是一样的。
url地址有4个参数:
callback:可以不添加,不添加可以直接取json数据,添加之后就是字符串
vid:视频ID (不改变的)
beginTime:视频开始的时间
_:时间戳
下次开始的时间在数据接口中同样有。
完整实现代码
import requests
import time
now_time = int(time.time() * 1000)
url = f'https://cxt.huya.com/open/danmu/timelist.do?vid=431927895&beginTime=0&_={now_time}'
while True:
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
html_data = response.json()
if html_data:
nextBeginTime = html_data['nextBeginTime']
lis = html_data['list']
for li in lis:
barrage = li['text']
with open('hy弹幕.txt', mode='a', encoding='utf-8') as f:
f.write(barrage)
f.write('\n')
url = f'https://cxt.huya.com/open/danmu/timelist.do?vid=431927895&beginTime={nextBeginTime}&_={now_time}'
print(nextBeginTime)
else:
break
总计弹幕数量:1280
词云效果
本文同步分享在 博客“松鼠爱吃饼干”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕(附源码)相关推荐
- python获取虎牙弹幕_教你用20行代码爬取直播平台弹幕(附源码)
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
- 记事本贪吃蛇游戏代码_厉害了,程序员28行代码写贪吃蛇游戏,附源码!
对于贪吃蛇游戏,大家基本上都玩过,但是作为一个程序员,大家是否想过要自己去写一个贪吃蛇,毕竟玩别人写的游戏和自己写的游戏是两种截然不同的感受,而且也可以通过制作来提升自己的技术! 其实贪吃蛇的逻辑并不 ...
- 简单20行代码爬取王者荣耀官网1080p壁纸
简单20行代码爬取王者荣耀官网1080p壁纸 # -*- coding: utf-8 -*- # @Time : 2020/12/13 18:08 # @Author : ningfangcong i ...
- python二手交易平台代码_PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二手急速响应捡垃圾平台_3(附源码持续更新)...
说明 文章首发于HURUWO的博客小站,本平台做同步备份发布. 如有浏览或访问异常图片加载失败或者相关疑问可前往原博客下评论浏览. 原文链接 PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二 ...
- 100个必会的python脚本-100行Python代码实现自动抢火车票(附源码)
前言 又要过年了,今年你不妨自己写一段代码来抢回家的火车票,是不是很Cool.下面话不多说了,来一起看看详细的介绍吧. 先准备好: 12306网站用户名和密码 chrome浏览器及下载chromedr ...
- python:利用20行代码爬取网络小说
文章目录 前言 一.爬虫是什么? 二.实现过程 总结 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 前言 今天,来给大家一个分享一下如何使用20爬虫行代码爬取网络小说(这里我们以龙 ...
- 20行代码爬取王者荣耀全英雄皮肤!让你享受白嫖的快乐!
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行代码即可完成. 准备工作 爬取皮肤 ...
- 手把手教你用Python批量实现在Excel后里面新加一列,并且内容为excel 表名(附源码)...
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 打起黄莺儿,莫教枝上啼. 大家好, ...
- 用python写的代码输入助手小程序(附源码)
目录 运行: 使用: 添加: 编辑: 创建新的空数据库: 命令太多,很容易忘记,还有很多代码片段想保存下来用到的时候能够快速输入,提高开发效率.在网上找了很多,发现都不是自己想要的.于是就用pytho ...
最新文章
- Developer Express XtraGrid使用技巧
- .NET分布式缓存Memcached测试体验
- php连接mysql并查询表数据,php连接mysql并查询数据怎么实现
- nodejs简单层级结构配置文件
- 目前市场上的电脑一体机从计算机种类,一体机电脑与普通电脑的区别
- Windows - Windows下安装MSI程序遇到2503和2502错误
- [linux]服务器apache配置vhost
- 酸了!华为补贴湖北员工每天最高 2000 元
- 解决在linux环境下面不显示验证码的问题
- leetcode 1184 python
- bootstrap 模态框日期控件datepicker被遮住问题的解决
- 【Kafka】Kafka No serviceName defined in either JAAS or Kafka config
- python魔法方法_Python魔法方法
- 深度学习2.0-10.tensorflow的高阶操作之张量的限幅
- matlab画图,仅显示部分图例
- 一篇文章读懂拿了图灵奖和诺贝尔奖的概率图模型
- ps图片放大后调整图片清晰度
- 门萨智商测试题软件,门萨的智商测试题:限时45分钟,共20小题,145分以上智商超常...
- 美术 3.2 2D动画Spine基础教学
- 数据挖掘_task2数据探索分析