我用Python抓取了【S11全球总决赛】直播评论,EDG nb
大家好,我是五包辣条。
《爬虫100例实战案例》又来了,昨天兄弟萌看直播了吗,一句话EDG牛掰就完事了。
四强的时候
T1:我是三冠王
GENG:我是双冠王
DK:我是去年世界冠军
EDG:本来想以第一次进四强的身份和你们相处,没想到得到的却是疏远。不装了!摊牌了!我是今年世界冠军!
爬取数据目标
网站:bilibili
效果展示
工具使用
开发工具:pycharm 开发环境:python3.7, Windows10 使用工具包:requests,threading, csv
重点学习内容
常见请求头的反爬
json数据的处理
csv文件处理
项目思路解析
找到你需要采集的视频地址(EDG牛逼!!!!)
网址:【S11全球总决赛】决赛 11月6日 EDG vs DK_哔哩哔哩bilibili_英雄联盟
爬虫采集数据首先要找到对应的数据目标地址,可以明显看出当前的网页的评论数据是在不断变化的,需要找到对应的评论接口,习惯性的去找动态数据。
数据并没有在动态数据里,清空数据加载新的评论数据,触发加载条件。
加载的数据在all里,明确数据之后就好处理了,获取到对应的网页接口,通过requests发送网络请求。
url = 'https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next={}&type=1&oid=891511588&mode=3&plat=1&_=1636272184444'.format(i)
response = requests.get(url)print(response.text)
数据请求失败请求头没有做反爬策略 添加对应的ua,以及refere 主要是防盗链的请求头措施,在浏览器请求也是得不到数据的,获取到准确的数据,提取自己想要的数据信息。
评论的内容
评论的时间
评论的作者
作者的性别
作者的个性签名
(各位大佬可以根据自己的需求进行自动的采集数据)
处理json数据时要注意, json数据前有jQuery1720892078778784086_1627994582044 可以通过正则的方式进行匹配提取 这里我选择修改url的参数 讲网址的jQuery1720892078778784086_1627994582044进行删除 最终的网址是:
https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next={}&type=1&oid=891511588&mode=3&plat=1&_=1636272184444
获取到数据后进行数据保存,数据保存在csv文件。
def save_data(item):with open('小破站1.csv', "a", newline='', encoding="utf-8")as f:filename = ['content', 'ctime', 'sex', 'uname', 'sign']csv_data = csv.DictWriter(f, fieldnames=filename)csv_data.writerow(item)
简易源码分享
import requests
import csv
def save_data(item):with open('EDG牛逼!.csv', 'a', newline='', encoding='utf-8')as f:
filename = ['content', 'uname', 'sign', 'sex']csv_data = csv.DictWriter(f, fieldnames=filename)# csv_data.writeheader()csv_data.writerow(item)
def get_data(url):
headers = {'referer': 'https://www.bilibili.com/bangumi/play/ss5852/?from=search&seid=6248919601957945511','accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',}
response = requests.get(url, headers=headers).json()item = {}for data in response['data']['replies']:item['content'] = data['content']['message'].strip()# print(content)item['uname'] = data['member']['uname']item['sign'] = data['member']['sign']item['sex'] = data['member']['sex']# print(item)save_data(item)
if __name__ == '__main__':for i in range(1, 3):url = 'https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next={}&type=1&oid=891511588&mode=3&plat=1&_=1636272184444'.format(i)html = get_data(url)
2012,一个卡牌,一个雷恩加尔,一群红衣少年的欢声笑语。
2013,一个杰斯,一个扎克,一场支离破碎的梦境。
2014,一个螳螂,一个兰博,一座摇摇欲坠的基地。
2015,一个寡妇,一个妖姬,一本永远叠不上去的梅贾窃魂卷。
2016,一个盲僧,一个奥拉夫,一串耻辱的数字。
2017,一个克格莫,一个青钢影,一个赛区绝境中最后的救赎。
2018,一个刀妹,一个剑魔,一个至高无上的尊严。
2019,一个泰坦,一个盲僧,一个浴火重生的凤凰。
2020,一个船长,一个剑姬,一个杀戮无法弥补的遗憾。
2021,一个皇子,一个佐伊,一个挽大厦于将倾的骑士。
我用Python抓取了【S11全球总决赛】直播评论,EDG nb相关推荐
- 使用Python抓取猫眼近10万条评论并分析
<一出好戏>讲述人性,使用Python抓取猫眼近10万条评论并分析,一起揭秘"这出好戏"到底如何? 黄渤首次导演的电影<一出好戏>自8月10日在全国上映,至 ...
- 《一出好戏》讲述人性,使用Python抓取猫眼近10万条评论并分析,一起揭秘“这出好戏”到底如何?
视频课程链接:https://edu.csdn.net/course/detail/9348 黄渤首次导演的电影<一出好戏>自8月10日在全国上映,至今已有10天,其主演阵容强大,相信许多 ...
- 《一出好戏》讲述人性,使用Python抓取猫眼近10万条评论并分析,一起揭秘“这出好戏”到底如何?...
黄渤首次导演的电影<一出好戏>自8月10日在全国上映,至今已有10天,其主演阵容强大,相信许多观众也都是冲着明星们去的. 目前<一出好戏>在猫眼上已经获得近60万个评价,评分为 ...
- python抓取微信公众号文章及评论(附过程)
需求:抓取人民网微信公众号的文章和评论 使用工具: fiddler python3 微信pc客户端 破解过程: 首先 使用fiddler对微信pc端抓包,需要配置https证书,另外最好加个filte ...
- python爬取学籍_仝卓学籍造假微博道歉,用Python抓取微博的评论看看群众都说什么...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 欢迎关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不 ...
- 微信好友大揭秘,使用Python抓取朋友圈数据,通过人脸识别全面分析好友,一起看透你的“朋友圈”...
微信:一个提供即时通讯服务的应用程序,更是一种生活方式,超过数十亿的使用者,越来越多的人选择使用它来沟通交流. 不知从何时起,我们的生活离不开微信,每天睁开眼的第一件事就是打开微信,关注着朋友圈里好友 ...
- Python抓取分析“创造101 ”菊姐微博
前言 前一段时间,创造101很火,这个火是可以理解的,毕竟中国首部女团节目.但是还有一个人不知道为啥突然也火了,那就是我们的菊姐.关于菊姐为什么火,网上已经有很多发文了,这里就不再赘述了. 我们抓取了 ...
- python代码案例详解-我用Python抓取了7000 多本电子书案例详解
安装 安装很简单,只要执行: pip install requests-html 就可以了. 分析页面结构 通过浏览器审查元素可以发现这个电子书网站是用 WordPress 搭建的,首页列表元素很简单 ...
- python抓取头条文章
python抓取头条美文并存储到mongodb # Author:song from multiprocessing import Pool from urllib.parse import urle ...
最新文章
- RabbitMQ 七战 Kafka,差异立现!
- 【移动通信】多址技术和调制技术
- [Machine Learning] logistic函数和softmax函数
- JAVA(小技巧--List)
- Linux学习笔记---网线直连电脑和开发板使用nfs下载文件
- vue 计算属性和data_Vue 计算属性问题?
- Awake OnEnable Start Update LateUpdate FixedUpdate
- ENVI实验教程(4)实验四、遥感图像预处理—融合、镶嵌、裁剪
- [笔记]ASCLL码表(48 “0”,65 “A”,97 “a”)2022.3.12
- 如何将macOS应用程序打包为dmg文件
- 惠普服务器文档,惠普服务器详细整理参数
- 3D数学 - 三角函数
- html背景图片自适应窗口大小
- android 蓝牙串口自动断开,uni-app 蓝牙连接被自动断开问题
- python连乘函数_(Python3) 连加 连乘 代码
- 【云栖大会】马云口中创造未来的年轻人,把数据+环保玩出了新花样
- SSD 速度对编译的影响
- URP——着色器和材质——灯光着色器 Lit
- Python中低维数组填充高维数组
- SQL注入AccessMysql