几年前的时候,我还不会使用爬虫,曾经在“超级小桀”的直播间看到过小桀做出了一种非常厉害的积分系统。只要在他的直播间发送弹幕,就能参与竞猜。当时我觉得这太厉害了,这到底是怎么做到的呢。后来直到自己也真正学会使用了爬虫,才发现,当初看起来非常厉害的东西,不过就只是爬取斗鱼的弹幕罢了,如今的我也是可以轻松实现的。这大概就是当你近距离观察的时候,美感就消失了。我不再会觉得当初我崇拜的东西有那么厉害和神秘,这大概就是因为成长而失去。

好吧,说正经的,到底如何爬取斗鱼的弹幕呢?

正常的方法在网上已经有很多人写过了。斗鱼弹幕的服务器是一种tcp协议,你只需要和弹幕服务器建立连接,然后获取数据就可以了。

python爬取斗鱼弹幕_【Python3爬虫】斗鱼弹幕爬虫_weixin_39611031的博客-CSDN博客在网上找到了一份斗鱼弹幕服务器第三方接入协议v1.6.2,有了第三方接口,做起来就容易多了。一、协议分析斗鱼后台协议头设计如下:这里的消息长度是我们发送的数据部分的长度和头部的长度之和,两个消息长度是一样。然后要注意的是该协议使用的是小端整数,所以我们要对数据进行处理后再发送,这里可以使用int.to_bytes()将整数转变成小端整数的形式。示例如下:int.to_bytes(12,4,'lit...https://blog.csdn.net/weixin_39611031/article/details/111018177

比如说,csdn上这位博主就已经写的很好了。所以说,如果你真的想爬取斗鱼弹幕,这并不是一件困难的事情。

除此之外,如果你不想和弹幕服务器建立连接的话,去监听直播间的页面的网页变化也是可以的。正常来说,如果你在网页版登录斗鱼,然后每当从弹幕服务器获取弹幕以后,都会对网页进行修改,这样我们才能在网页上看到,因此,直接去监听网页的变化,也是一种思路。但是肯定没有直接连接弹幕服务器那么好。

比如说,我们尝试爬取一下2021-09-10 21:18时候,英雄联盟手游赛事的直播间

第二把多少时间

斗鱼真够大气的,一千鱼丸

瞎子?

怎么买怎么输一下午没赢一把

打脸啪啪

难道不是瑞文

看腿

我结束了,你们呢

刚刚没看,第二把多少时间

这女的是谁

腿好好看

吊大说一下

还是这个熟悉的进面地板   今天什么色内裤

现在回想起来,以前用到过的什么xx弹幕提示助手,大概也是类似的功能吧

第11期-通过斗鱼直播爬取弹幕相关推荐

  1. python 爬取直播弹幕视频_调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容)...

    调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容) 查看<斗鱼弹幕服务器第三方接入协议v1.4.1>,了解斗鱼API的使用方法,即如何连接斗鱼弹幕服务器.维持连接及获取弹幕信息 Pyt ...

  2. 实时爬取斗鱼直播时的弹幕消息

    最近想爬取实时消息,上网查了下,所以爬取斗鱼直播的弹幕消息做了下练习,这个开源的代码有很多,但是具体是怎么爬取到的还是要仔细地研究下.想爬取斗鱼的弹幕消息,按照常用的做法是打开网页用抓包工具抓包,但是 ...

  3. python爬斗鱼直播_从零开始写Python爬虫 --- 爬虫应用: 利用斗鱼Api抓取弹幕

    七月末的南京简直开启了「微波炉」模式,白天要学车的我,晚上自然选择宅在家看直播,看着狗贼叔叔满屏幕的弹幕,我就想着能不能把弹幕爬下来呢?说干就干 结果的展示: 这里只抓到弹幕内容和发送用户 并输出在终 ...

  4. python_斗鱼自动化爬取到MySQL1.0

    斗鱼爬虫项目 斗鱼爬虫分析 确定目标 使用工具 涉及到的模块: 目标分析 代码部分 项目结果 项目注意点 项目总结 斗鱼爬虫分析 使用python对斗鱼平台进行自动化爬取. 确定目标 爬取斗鱼直播分类 ...

  5. java斗鱼_java爬取斗鱼:与虎牙对比

    package 虎牙斗鱼直播平台; import java.io.IOException; import java.sql.DriverManager; import java.sql.Prepare ...

  6. 第4期-通过起点中文网爬取小说

    起点中文网的历史比较悠久,一般来说,新的小说和古老的小说的格式恐怕是不太一样的,甚至vip章节和普通章节也是不一样的,因此,我们就尽量挑选最新的小说研究一下. 首先是排行榜的地址 https://ww ...

  7. Github每日精选(第75期):colly 爬取网站所有的数据

    colly colly 是一个优雅的 Golang 爬虫框架. colly 提供了一个干净的接口来编写任何类型的爬虫/scraper/spider. 使用 Colly,您可以轻松地从网站中提取结构化数 ...

  8. 2020/4/11 斗图啦多线程爬取表情包

    [斗图啦多线程爬虫思路] 网站:https://www.doutula.com/photo/list/?page=1 爬取的是最新的表情包这个页面的图片 思路 1.分析需求,创建解析线程和下载线程 因 ...

  9. 第2期-通过去哪儿爬取机票价格

    上期分析了携程的机票,本次来对比一下去哪儿的机票看看有什么不同. 接口地址:https://flight.qunar.com/touch/api/domestic/wbdflightlist 有一个加 ...

  10. 第7期-通过潇湘书院爬取小说

    这把我们遇到高手了,我尝试寻找数据来源的时候,发现根本找不到,不难猜测,肯定有内容加密的措施. 脚底滑,摔狗吃屎. 马车绝尘 溅脸泥浆! 我们观察这样三句话,发现其中出现了很 ...

最新文章

  1. Conversion error:Jekyll::Converters::Scss encountered an error while converting css/main.scss
  2. android gradle.properties
  3. 爬虫笔记9实例股票数据
  4. WebService(JAX-WS、XFire、Axis三种)获取客户端ip
  5. Enze frist day
  6. java spark 环境_在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境
  7. Hive入门学习随笔(二)
  8. Selenium webdriver实现原理
  9. mysql sql注入工具下载_超级SQL注入工具【SSQLInjection】
  10. WPS简历模板的图标怎么修改_简历无话可说怎么办?复试、调剂简历模板分享!...
  11. 导出手机QQ聊天记录到电脑
  12. 机器学习聚类算法:DBSCAN 对鸢尾花数据分类 C++实现
  13. 怎么在csdn中找到自己发布的帖子
  14. Unity3D 中动态更改材质球纹理
  15. LoadLibrary加载dll失败的问题
  16. 怎么把ppt弄成链接的形式_怎么把ppt改成pptx_把pptx转换成ppt的方法
  17. 交叉编译ortp、osip2、eXosip2、mediastreamer2及其附带的库实现SIP软电话
  18. JavaScript的DOM知识点总结
  19. 「 Luogu P2657 」 windy数
  20. 如何用MATLAB进行电路仿真

热门文章

  1. 【HUSTOJ】1052: 字符图形8-数字三角
  2. 怎样在html里加入cms的标签,动易Cms:如何在自定义字段中插入html代码和标签-动易Cms教程...
  3. Python数据库sqlite3详解
  4. JAVA中解析XML和书写XML
  5. java三国鼎立,网页游戏三国鼎立(武三国)一键服务端带教程及修改说明
  6. Windows Message Queue 优先队列
  7. python 省份排序_MySQL
  8. Elgamal数字签名原理
  9. linux下录制视频流,Ubuntu Linux 下的PSP视频输出以及录制
  10. 机器学习——时间序列预测方法