爬虫之哔哩哔哩弹幕的获取

突然想爬一下哔哩哔哩的弹幕，视频不重要，弹幕才是本体，从弹幕的内容里还可以看出来大众的态度和情绪，是一个很好的舆论分析的工具。
分析一下接口，

是一个以list开头的xhr文件

import time,requests,re
from selenium import webdriver
from lxml import etree
"""解析哔哩哔哩弹幕：
哔哩哔哩二次请求的弹幕文件是一个xml文件，这里用两种方法来解析"""
# 第一种方式，使用selenium来解析，这种方式不用解码与编码
# driver = webdriver.PhantomJS(executable_path=r'C:\python3.5.3\phantomjs-2.1.1-windows\bin\phantomjs.exe')
# base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=100236969'
# driver.get(base_url)
# # 弹幕主体是被d标签包围的
# muma=driver.find_elements_by_tag_name('d')
# for dan in muma:
#     print(dan.text)# 第二种方式是用requests与xpath来解析，不需要解码
base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=100236969'
contents = requests.get(base_url).content
contents = etree.XML(contents)
#使用html也可以
#contents = etree.XML(contents)
muma = contents.xpath('.//d/text()')
for dan in muma:print(dan)# 第三种方式是正则提取，需要解码
# base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=100236969'
# contents = requests.get(base_url).content.decode('utf-8')
# muma_rule = re.compile(r'<d.*?>(.*?)</d>')
# muma = muma_rule.findall(contents)
# for dan in muma:
#     print(dan)

爬虫之哔哩哔哩弹幕的获取相关推荐

菜鸟弟弟从零开始的爬取Bilibili弹幕的Python爬虫教程-哔哩哔哩 - ( ゜- ゜)つロ干杯~
从零开始的爬取Bilibili弹幕的Python爬虫教程或许可以作为一个爬虫小白的练手的demo? 还是先看看什么是爬虫吧!(还有Bilibili! ) 网络爬虫: 网络爬虫(又称为网页蜘蛛,网络机 ...
如何写一只抓哔哩哔哩弹幕的爬虫
原文地址:http://blog.csdn.net/bigbigsman/article/details/78639053 如何写一只抓哔哩哔哩弹幕的爬虫爬虫工作流程解析首页获得视频cid 构造所 ...
清除string内容_python爬取哔哩哔哩网页弹幕内容,并将爬取的内容以五角星的形式显示出来...
转载:03 爬虫实例-获取网页弹幕内容思路: 向哔哩哔哩网站发送请求请求成功后,解析爬取的弹幕内容保存到一个文件中读取文件并分析弹幕内容中词组或文字出现的频率将这些词组或文字组成五角星图形组 ...
本地播放哔哩哔哩弹幕+视频
本地播放哔哩哔哩弹幕+视频 1.打开你喜欢或者收藏的视频播放页面 2.下载视频方法1:一劳永逸的下载工具: IDM 方法2:利用浏览器插件的嗅探[^1]工具(不太推荐,感兴趣的可以百度学习一下) 方 ...
beautifulsoup爬取网页中的表格_python爬取哔哩哔哩网页弹幕内容,并将爬取的内容以五角星的形式显示出来...
转载:03 爬虫实例-获取网页弹幕内容思路: 向哔哩哔哩网站发送请求请求成功后,解析爬取的弹幕内容保存到一个文件中读取文件并分析弹幕内容中词组或文字出现的频率将这些词组或文字组成五角星图形组 ...
哔哩哔哩弹幕爬取以及BV与AV号之间的转换
作为b站老粉丝,我有义务向新人科普bilibili的发展与纪年史,本人持中立态度,仅做记录工作. B站的API端口都是开放的,用一个很简单的调用命令就可以计算出BV号对应的AV号. B站的源码已经在G ...
Python3 爬虫实战 — 模拟登陆哔哩哔哩【滑动验证码对抗】
登陆时间:2019-10-21 实现难度:★★★☆☆☆ 请求链接:https://passport.bilibili.com/login 实现目标:模拟登陆哔哩哔哩,攻克滑动验证码涉及知识:滑动验证 ...
哔哩哔哩公布2021年度弹幕：“破防了”
11月29日消息,今日,哔哩哔哩(以下简称B站)与人民文学出版社.中国社会科学院新闻与传播研究所联合发布2021年度弹幕"破防了". 作为一种即时性互动方式,弹幕直观地呈现了观众对 ...
python手机端如何下载_过去，哔哩哔哩上面的视频只能在手机上面下载；现在，我用Python爬虫实现了能在PC端上面下载...
运用Python爬虫下载哔哩哔哩上面的视频前言之前一直没有时间写博客,从今天开始基本又有时间了,又可以高高兴兴地写博客了.本篇文章纯属于小编原创,未经小编允许禁止转载,还请大家见谅! 目录运用P ...

爬虫之哔哩哔哩弹幕的获取

爬虫之哔哩哔哩弹幕的获取相关推荐

最新文章

热门文章