coding=utf-8

“”"
author:lei
function: 虎牙直播爬取
“”"

import time
from selenium import webdriver

class HuYa(object):
def init(self):
self.url = “https://www.huya.com/l”
options = webdriver.ChromeOptions()
options.binary_location = r"D:\文件2\Google\Chrome\Application\chrome.exe"
self.driver = webdriver.Chrome(r"D:\文件\软件\chromedriver_win32\chromedriver.exe", options=options)

def parse_data(self):time.sleep(1)room_list = self.driver.find_elements_by_xpath("/html/body/div[2]/div/div/div[4]/ul/li")print(len(room_list))temp_list = []for room in room_list:temp = {}temp["title"] = room.find_element_by_xpath("./a[2]").texttemp["url"] = room.find_element_by_xpath("./a[2]").get_attribute("href")temp["owner"] = room.find_element_by_xpath("./span[1]/span[1]/i").texttemp["type"] = room.find_element_by_xpath("./span[1]/span[2]/a").texttemp["num"] = room.find_element_by_xpath("./span[1]/span[3]/i[2]").texttemp_list.append(temp)return temp_listdef save_data(self, temp_list):for temp in temp_list:print(temp)def run(self):self.driver.get(self.url)while True:temp_list = self.parse_data()self.save_data(temp_list)try:el_next = self.driver.find_element_by_xpath("//a[@class='laypage_next']")self.driver.execute_script("scrollTo(0, 100000)")el_next.click()except:print("结束！")break

if name == ‘main’:
huya = HuYa()
huya.run()

python爬虫，虎牙房间爬取（selenium）相关推荐

Python爬虫学习之爬取淘宝搜索图片
Python爬虫学习之爬取淘宝搜索图片准备工作因为淘宝的反爬机制导致Scrapy不能使用,所以我这里是使用selenium来获取网页信息,并且通过lxml框架来提取信息. selenium.lxm ...
python 爬虫实例电影-Python爬虫教程-17-ajax爬取实例（豆瓣电影）
Python爬虫教程-17-ajax爬取实例(豆瓣电影) ajax: 简单的说,就是一段js代码,通过这段代码,可以让页面发送异步的请求,或者向服务器发送一个东西,即和服务器进行交互对于ajax: ...
Python爬虫系列之爬取微信公众号新闻数据
Python爬虫系列之爬取微信公众号新闻数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发 > 点击这里联系我们 < 微信请扫描下方二维码代码仅供学习交流 ...
携程ajax,Python爬虫实战之爬取携程评论
一.分析数据源这里的数据源是指html网页?还是Aajx异步.对于爬虫初学者来说,可能不知道怎么判断,这里辰哥也手把手过一遍. 提示:以下操作均不需要登录(当然登录也可以) 咱们先在浏览器里面搜索携 ...
Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
Python爬虫系列之爬取某奢侈品小程序店铺商品数据
Python爬虫系列之爬取某奢侈品小程序店铺商品数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发> 点击这里联系我们 < 微信请扫描下方二维码代码仅供学 ...
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
这篇文章主要介绍了Python爬虫 scrapy框架爬取某招聘网存入mongodb解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下创建项目 sc ...
Python爬虫入门（爬取豆瓣电影信息小结）
Python爬虫入门(爬取豆瓣电影信息小结) 1.爬虫概念网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本.爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据. 2.基本流程 ...
Python爬虫---影评的爬取
Python爬虫-影评的爬取介绍:爬虫练手,使用Requests库进行豆瓣影评的爬虫,做成词云图,写文章主要做一些问题解决的记录. 运行环境:python 3.8, Pycharm 关于在豆瓣爬取影 ...
【Python爬虫】从零开始爬取Sci-Hub上的论文(串行爬取)
[Python爬虫]从零开始爬取Sci-Hub上的论文(串行爬取) 维护日志项目简介步骤与实践 STEP1 获取目标内容的列表 STEP2 利用开发者工具进行网页调研 2.1 提取文章链接和分页链 ...

python爬虫，虎牙房间爬取（selenium）

coding=utf-8

python爬虫，虎牙房间爬取（selenium）相关推荐

最新文章

热门文章