bilibili弹幕爬虫

示例网址：
https://www.bilibili.com/video/av21483276

视频弹幕网址：
https://comment.bilibili.com/35358033.xml

视频下载地址：
https://upos-hz-mirrorwcsu.acgvideo.com/upgcxcode/33/80/35358033/35358033-1-32.flv?e=ig8euxZM2rNcNbR1hwdVhoM1hWdVhwdEto8g5X10ugNcXBlqNxHxNEVE5XREto8KqJZHUa6m5J0SqE85tZvEuENvNC8xNEVE9EKE9IMvXBvE2ENvNCImNEVEK9GVqJIwqa80WXIekXRE9IMvXBvEuENvNCImNEVEua6m2jIxux0CkF6s2JZv5x0DQJZY2F8SkXKE9IB5QK==&deadline=1547186777&gen=playurl&nbs=1&oi=3056465252&os=wcsu&platform=pc&trid=2ee0f4513d654dc4a6b4cd9d37f2a59a&uipk=5&upsig=b5084f0c9b0308489c7836a3efee6fd9

其实是根据网上的帖子反推的

找35358033

在window.__playinfo__标签下

有点复杂，再找

找到了最右面视频的地址，直接可以下载

找了一圈
决定从下面入手

re.findall(r"\"pages\"\:\[\{\"cid\":(.*?)\,", res, re.S)[0]

上代码

import requests
from lxml import etree
import re
from pprint import pprint
import jsonclass Bili(object):def __init__(self, url_num):self.name = "av号" + str(url_num)self.url = "https://www.bilibili.com/video/av{}/".format(url_num)self.headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"}def parse(self,url):response = requests.get(url, headers=self.headers)res = response.content.decode()return resdef get_content(self, res):html = etree.HTML(res)item = {}item["title"] = html.xpath("//div[@id='viewbox_report']/h1/@title")[0] if len(html.xpath("//div[@id='viewbox_report']/h1/@title")) > 0 else Noneif item["title"]:item["cid"] = re.findall(r"\"pages\"\:\[\{\"cid\":(.*?)\,", res, re.S)[0]else:return Noneprint(item)return itemdef get_url(self, item):cid = item["cid"]danmu_url = "https://comment.bilibili.com/{}.xml".format(cid)print(danmu_url)return danmu_urldef get_danmu(self, res, item):print("0"*100)pprint(res)print("0" * 100)html = etree.HTML(res.encode())print(html)item["弹幕"] = html.xpath("//d/text()")# pprint(item)return itemdef save(self, name, content):with open("{}.json".format(name), "a", encoding="utf-8")as f:f.write(json.dumps(content, ensure_ascii=False, indent=4))print("保存成功")def run(self):item = {}# 1 获取url# 2 发送请求，获取相应res = self.parse(self.url)# 3 提取cid和标题item = self.get_content(res)if item == None:print("vid号不正确，请重新输入。")return# 4 组合弹幕urldanmu_url = self.get_url(item)# 5 发送请求获取相应res_danmu = self.parse(danmu_url)# 6 提取end = self.get_danmu(res_danmu, item)# 7 保存self.save(self.name, end)print("程序结束")if __name__ == '__main__':# url_num = input("请输入8位视频av号:")url_num = 21483276print("url_num=", url_num)b = Bili(url_num)b.run()

参考

https://blog.csdn.net/qq_22043649/article/details/80985903

https://blog.csdn.net/a360316515/article/details/83058481

bilibili弹幕爬虫， 2019-1-10相关推荐

菜鸟弟弟从零开始的爬取Bilibili弹幕的Python爬虫教程-哔哩哔哩 - ( ゜- ゜)つロ干杯~
从零开始的爬取Bilibili弹幕的Python爬虫教程或许可以作为一个爬虫小白的练手的demo? 还是先看看什么是爬虫吧!(还有Bilibili! ) 网络爬虫: 网络爬虫(又称为网页蜘蛛,网络机 ...
Bilibili for mac 2019 - 国内知名的视频弹幕社区软件（b站）
文章来源于:风云社区 Bilibili for mac 2019 今天给大家分享Bilibili for mac 2019,支持 macOS 10.14,支持 B 站新版页面,修复播放器窗口拖动.默认 ...
Python爬虫：爬取Bilibili弹幕过程示例代码
这篇文章主要介绍了Python爬虫爬取Bilibili弹幕过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下先来思考一个问题,B站一个视频的弹 ...
今天分享个用Python爬虫爬取Bilibili弹幕的小例子解析
先来思考一个问题,B站一个视频的弹幕最多会有多少? 比较多的会有2000条吧,这么多数据,B站肯定是不会直接把弹幕和这个视频绑在一起的. 也就是说,有一个视频地址为 https://www.bilib ...
python爬取bilibili弹幕_Python爬虫爬取Bilibili弹幕过程解析
先来思考一个问题,B站一个视频的弹幕最多会有多少? 比较多的会有2000条吧,这么多数据,B站肯定是不会直接把弹幕和这个视频绑在一起的. 也就是说,有一个视频地址为https://www.bilibi ...
爬虫数据云词图片怎么做？小姐姐教你用python做B站弹幕爬虫，并进行数据分析生成词云
hello大家好,我是你们的可爱丸,大家平时在B站看视频时有没有开弹幕的习惯呢?如果不把视频从头看到尾,那么多弹幕,我们怎么快速的知道大家都说了些什么并且持有什么观点呢? 今天小姐姐就教你做一个简单的 ...
python中国大学排名爬虫写明详细步骤-Python爬虫--2019大学排名数据抓取
Python爬虫--2019大学排名数据抓取准备工作输入:大学排名URL连接输出:大学排名信息屏幕输出所需要用到的库:requests,bs4 思路获取网页信息提取网页中的内容并放到数据结 ...
python爬取bilibili弹幕_GitHub - yxwangnju/Bilibili-Bullet-Screen-Crawler: 一个爬取bilibili上弹幕的简单python程序...
Bilibili Bullet Screen Crawler 用python语言实现了一个简单的哔哩哔哩弹幕爬虫程序. 1. 运行环境 python 3 and higher versions. 运行 ...
2019 年 10 大顶级 Python 支持库
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤安得广厦千万间,大庇天下寒士俱欢颜 ...
解读 | 2019年10篇计算机视觉精选论文（中）
导读:2019 年转眼已经接近尾声,我们看到,这一年计算机视觉(CV)领域又诞生了大量出色的论文,提出了许多新颖的架构和方法,进一步提高了视觉系统的感知和生成能力.因此,我们精选了 2019 年十大 ...

bilibili弹幕爬虫， 2019-1-10

bilibili弹幕爬虫

其实是根据网上的帖子反推的

上代码

参考

bilibili弹幕爬虫， 2019-1-10相关推荐

最新文章

热门文章