用python抓取斗鱼网的弹幕

代码实现：

from selenium import webdriver
import time# amount=要爬多少数量
def douYuDanMu(amount):#手动添加路径path = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver\chromedriver.exe"driver = webdriver.Chrome(executable_path=path)url  = "https://www.douyu.com/134000"driver.get(url)try:elem = driver.find_element_by_class_name("normallevel-close")elem.click()except:passdriver.maximize_window () #全屏显示flag = Truei =0while flag:try:i=i+1print ("\r第%d次尝试中"% i)elems = driver.find_elements_by_class_name("jschartli")if (len(elems)!=0):flag = Falseprint ("第%d次尝试成功"% i)if(i==30):print ("主人，这网站真的爬不动......")except: print ("\r第%d次尝试失败"% i)time.sleep(2) flag2 = Truecount = 0while flag2:for chat in elems[count:]: #防重复try:saying = chat.find_element_by_class_name("text-cont").textcount = count+1print ("【弹幕 {0}】{1}".format(count,saying))time.sleep(1)if(count==amount):    #到达预期数量打断breakexcept KeyboardInterrupt: #键盘输入进行打断flag2 = Falsebreakexcept :continueelems = driver.find_elements_by_class_name("jschartli")

一点解释：

这是测试代码，可以看到driver会自动更新，弹幕数会一直增加，而原来的弹幕也不会消失（虽然页面上没有了...），所以用count不仅用于计数，还有个作用是再次提取所有弹幕时通过列表分片的形式过滤掉已经爬取过的。

用python抓取斗鱼网的弹幕相关推荐

python抓取斗鱼的主播及热度
Python抓取斗鱼主播及热度刚接触python,想用python爬取下斗鱼的主播及其热度,下面是一个小demo 具体代码如下: from urllib import request from io ...
python抓取腾讯视频弹幕_Python实战 | 如何抓取腾讯视频弹幕
原标题:Python实战 | 如何抓取腾讯视频弹幕当代年轻人的快乐是网络给的. 如果有人吐槽周末太无聊,他们一定会反驳: 是追剧不香吗? 是吃鸡不好玩吗? 周末辣么短,怎么会无聊呢? 诚然,追剧和游 ...
用python抓取百万网易云热门评论[转载]
前言最近在研究文本挖掘相关的内容,所谓巧妇难为无米之炊,要想进行文本分析,首先得到有文本吧.获取文本的方式有很多,比如从网上下载现成的文本文档,或者通过第三方提供的API进行获取数据.但是有的时候我 ...
小白请上车 | Python抓取花瓣网高清美图
一:前言嘀嘀嘀,上车请刷卡.昨天看到了不错的图片分享网-- 花瓣 ,里面的图片质量还不错,所以利用selenium+xpath我把它的妹子的栏目下爬取了下来,以图片栏目名称给文件夹命名分类保存到电脑 ...
Python抓取第一网贷中国网贷理财每日收益率指数
链接:http://www.p2p001.com/licai/index/id/147.html 所需获取数据链接类似于:http://www.p2p001.com/licai/shownews/id ...
Python抓取花瓣网高清美图
一:前言嘀嘀嘀,上车请刷卡.昨天看到了不错的图片分享网--花瓣,里面的图片质量还不错,所以利用selenium+xpath我把它的妹子的栏目下爬取了下来,以图片栏目名称给文件夹命名分类保存到电脑中. ...
python花瓣飘零_小白请上车 | Python抓取花瓣网高清美图
一:前言嘀嘀嘀,上车请刷卡.昨天看到了不错的图片分享网-- 花瓣 ,里面的图片质量还不错,所以利用selenium+xpath我把它的妹子的栏目下爬取了下来,以图片栏目名称给文件夹命名分类保存到电脑 ...
python 爬虫抓取斗鱼直播间弹幕
这个嘛方法有很多,但市面上流行的方法也就两种第一种就是通过斗鱼直播间的那个协议第二种吗简单的我想骂人(前一种学些了贼多时间,简直了) 就是利用第三方库danmu 安装的方法依旧是如此的简单,打开终 ...
python抓取腾讯视频弹幕_Python爬虫练习：腾讯视频弹幕数据采集
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于菜鸟学Python数据分析 1.网页分析本文以爬取<脱 ...

用python抓取斗鱼网的弹幕

用python抓取斗鱼网的弹幕相关推荐

最新文章

热门文章