爬取斗鱼直播平台的所有房间信息

1.首先确定数据的位置

每个房间的数据都在id=live-list-contentbox的ul中

实现翻页和控制程序结束

selenium中通过点击就可以实现翻页，观察存在下一页和不存在下一页时候标签的变化

存在下一页时：

不存在下一页时：

具体代码如下:

```

import json
import time
from selenium import webdriverclass DouYu(object):def __init__(self):self.start_url = 'https://www.douyu.com/directory/all'self.driver = webdriver.Chrome()self.index=1def get_content_list(self):  # 提取数据li_list = self.driver.find_elements_by_xpath('//ul[@id="live-list-contentbox"]/li')content_list = []for li in li_list:item = {}item['title'] = li.find_element_by_xpath('./a').get_attribute('title')item['anchor'] = li.find_element_by_xpath('.//span[@class="dy-name ellipsis fl"]').textitem['watch_num'] = li.find_element_by_xpath('.//span[@class="dy-num fr"]').textitem['image'] = li.find_element_by_xpath('.//img[@class="JS_listthumb"]').get_attribute('src')item['category'] = li.find_element_by_xpath('.//span[@class="tag ellipsis"]').textprint(item)content_list.append(item)# 提取下一页元素next_url = self.driver.find_elements_by_xpath('.//a[@class="shark-pager-next"]')next_url = next_url[0] if len(next_url) > 0 else Nonereturn content_list, next_urldef save_content_list(self, content_list):json_str = json.dumps(content_list, ensure_ascii=False, indent=4)with open('./douyu/douyu_{}'.format(str(self.index)) + '页.json', 'w', encoding='utf-8') as f:f.write(json_str)self.index += 1def run(self):  # 实现主要逻辑# start_url# 发送请求,获取响应self.driver.get(self.start_url)# 提取数据content_list, next_url = self.get_content_list()# 保存self.save_content_list(content_list)# 下一页数据的提取while next_url is not None:next_url.click()# 页面没有完全加载完time.sleep(5)content_list, next_url = self.get_content_list()# 保存self.save_content_list(content_list)if __name__ == '__main__':douyu=DouYu()douyu.run()

```

爬取斗鱼直播平台的所有房间信息相关推荐

使用selenium自动爬取斗鱼直播平台的所有房间信息
使用selenium自动爬取斗鱼直播平台的所有房间信息文章目录使用selenium自动爬取斗鱼直播平台的所有房间信息使用selenium实现动态页面模拟点击什么是selenium? selen ...
实时爬取斗鱼直播时的弹幕消息
最近想爬取实时消息,上网查了下,所以爬取斗鱼直播的弹幕消息做了下练习,这个开源的代码有很多,但是具体是怎么爬取到的还是要仔细地研究下.想爬取斗鱼的弹幕消息,按照常用的做法是打开网页用抓包工具抓包,但是 ...
selenium抓取斗鱼直播平台数据
https://www.cnblogs.com/xinyangsdut/p/7617691.html 程序说明: 抓取斗鱼直播平台的直播房间号及其观众人数,最后统计出某一时刻的总直播人数和总观众人数. ...
Python爬取斗鱼直播网站信息
一.需求爬取斗鱼直播网站信息,如直播名字.主播名字.热度.图片和房间网址,将这些数据保存到csv文件中,并单独创建文件夹保存图片. 斗鱼直播网址:https://www.douyu.com/g_LO ...
python抓取直播源并更新_Python爬虫实例（二）使用selenium抓取斗鱼直播平台数据...
程序说明:抓取斗鱼直播平台的直播房间号及其观众人数,最后统计出某一时刻的总直播人数和总观众人数. 过程分析: 进入平台首页,来到页面底部点击下一页,发现url地址没有发生变化,这样的话再使用urlli ...
Python爬取斗鱼直播信息
一.需求爬取斗鱼直播网站信息,如直播名字.主播名字.热度.图片和房间网址,将这些数据保存到csv文件中,并单独创建文件夹保存图片. 斗鱼直播网址:https://www.douyu.com/g_LO ...
Requests爬取斗鱼直播列表信息
实现简单小爬虫,爬取斗鱼直播页面所有当前在线直播列表信息文章目录 1 目标分析 2 分析URL 2.1 分析首页URL 2.2 分析换页URL 2.3 确定爬取URL 3 代码 4 总结 1 目标分 ...
使用scrapy爬取斗鱼直播间信息
目录 1. 谷歌抓包工具的使用 1.1 打开Chrome开发者工具的方法 1.2 开发者工具的结构 1.3 network模块 2. 使用谷歌抓包工具抓取斗鱼数据 3. 使用scrapy爬取斗鱼直播间 ...
利用斗鱼api学习爬取斗鱼直播间信息
python爬取斗鱼房间的弹幕斗鱼弹幕服务api:https://open.douyu.com/source/api/63 基本步骤: 连接斗鱼api服务器构造登录请求进入房间并构造获取弹幕请求 ...

爬取斗鱼直播平台的所有房间信息

爬取斗鱼直播平台的所有房间信息相关推荐

最新文章

热门文章