爬取《我就是演员》视频弹幕

目标：爬取《我就是演员》总决赛视频弹幕。

方法：找到弹幕所在的url，看该数据Response的是什么类型，再决定采取什么解析方法，最后保存到csv文件中。

尝试：我分别点击不同时刻，发现规律，每隔30秒就会出现新的弹幕url，因此只需改变参数即可实现重复抓取。

要点：设置随机睡眠时间避免ip被封。

from urllib.parse import urlencode
import requests
import re
import csv
import time
import randomdef search(base_url, time_stamp):try:headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36','accept': 'text / html, application / xhtml + xml, application / xml;q = 0.9, image / webp, image / apng, * / *;q = 0.8','accept - encoding': 'gzip, deflate, br','accept - language': 'zh - CN, zh;q = 0.9, en; q = 0.8','cache - control': 'max - age = 0','cookie':'你的cookie'}data = {'otype': 'json','callback': 'jQuery19100088505973541948_1544320979640','timestamp': time_stamp,'target_id': '3542121399','count': '80','second_count': '5'}# 使用urlencode()函数将参数表示为链接形式，进行拼接url = base_url + urlencode(data)response = requests.get(url, headers=headers)if response.status_code == 200:return response.textexcept Exception:return Nonedef get_30s_danmu(text):id = re.findall(r'"commentid":"(.*?)",', text)comments = re.findall(r'"content":"(.*?)",', text)agree = re.findall(r'"upcount":(.*?),"', text)for (i, j, k) in zip(id, agree, comments):  # 生成可迭代对象with open('actor_danmu.csv', 'a', newline='', encoding='utf-8-sig') as f:  # newline=''可以避免存入空行；设置编码；追加写入writer = csv.writer(f)writer.writerow(['\''+str(i), str(j), k])def main():time_stamp = 0num = 1while True:print('第{}次爬取'.format(num))print('*'*50)base_url = 'https://mfm.video.qq.com/danmu?'text = search(base_url, time_stamp)print(text)print('*'*50)get_30s_danmu(text)time_stamp += 30num += 1# 设置随机睡眠时间，避免ip被封。sleep_time = random.randint(1, 10)print('睡眠时间：', sleep_time)print('*'*50)time.sleep(sleep_time)if num > 241:print('抓取弹幕完成')breakif __name__ == '__main__':main()

爬取《我就是演员》视频弹幕相关推荐

【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表
[Python]大数据挖掘课程作业1--使用爬虫爬取B站评论.弹幕与UP主的投稿视频列表数据挖掘部分的基本目标是:对于指定的UP主,能够获取其投稿视频列表:对于指定的视频,能够获取其视频标签.评论( ...
Python爬取哔哩哔哩弹幕并且造词云图简单版！！！
一,操作步骤 1.通过浏览器打开哔哩哔哩 2.选择一个播放量较合适的视频(不要太大也不要太小大概就50万的样子)比如我用的是:https://www.bilibili.com/video/BV1th ...
周杰伦新歌发布，爬取《Mojito》MV弹幕，看看粉丝们都说的些啥！
6月12日凌晨0点,Jay Chou最新单曲<Mojito>正式上线,仅上线1小时销售量就超过百万张,预计今天这首单曲的销量仍然会继续攀升.这次新歌的歌名叫做<Mojito>, ...
Python爬虫新手入门教学（二十）：爬取A站m3u8视频格式视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 前文内容 Python爬虫新手入门教学(一):爬取豆瓣电影排行信息 Python爬虫新手入门 ...
python自动搜索爬取下载文件-python批量爬取下载抖音视频
本文实例为大家分享了python批量爬取下载抖音视频的具体代码,供大家参考,具体内容如下 import os import requests import re import sys import a ...
python爬取抖音用户数据_python批量爬取下载抖音视频
本文实例为大家分享了python批量爬取下载抖音视频的具体代码,供大家参考,具体内容如下 import os import requests import re import sys import a ...
json spr路驾驶技术视频api_每天弄个小爬取之Python爬取批量爬取B站小视频
1. 批量爬取B站小视频哔哩哔哩网站(英文名称: bilibili),是年轻人的文化社区,被粉丝们亲切的称为B站.该网站中拥有动画.番剧.国创.音乐.舞蹈.游戏.科技.生活.鬼畜.娱乐.时尚等多个内 ...
python爬取b站403_Python如何爬取b站热门视频并导入Excel
代码如下 #encoding:utf-8 import requests from lxml import etree import xlwt import os # 爬取b站热门视频信息 def s ...
Python每日一练(9)-批量爬取B站小视频
目录 1. 批量爬取B站小视频 2. 获取动态请求的JSON数据 3. 随机生成浏览器的头部信息 4. 获取要下载视频的大小 5. 实时打印文件下载进度 1. 批量爬取B站小视频哔哩哔哩网站(英文名 ...
Python爬取抖音app视频
作者:哈库呐玛塔塔来源:https://urlify.cn/ANzAre 记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitm ...

爬取《我就是演员》视频弹幕

爬取《我就是演员》视频弹幕相关推荐

最新文章

热门文章