爬取斗鱼主播名字和热度

from selenium import webdriver
from lxml import etree
import csv# 创建浏览器对象,发请求
driver = webdriver.Chrome()
driver.get("https://www.douyu.com/directory/all")class DouyuSpider:def __init__(self):self.n = 0self.page = 1# 获取主播名称、观众数量def getData(self):# 创建xpath的解析对象parseHtml = etree.HTML(driver.page_source)names = parseHtml.xpath('//div[@id="live-list-content"]//span[@class="dy-name ellipsis fl"]/text()')numbers = parseHtml.xpath('//div[@id="live-list-content"]//span[@class="dy-num fr"]/text()')# names : ["主播1","主播2",....] # numbers:["90.8万","90万",...]# zip(L1,L2) : [(1,"A"),(2,"B"),(3,"C")]for name,number in zip(names,numbers):L = [name.strip(),number.strip()]self.writeData(L)self.n += 1# 保存到csv文件def writeData(self,L):with open("斗鱼直播.csv","a",newline="",encoding="gb18030") as f:writer = csv.writer(f)writer.writerow(L)# 主函数def workOn(self):for i in range(1,11):self.getData()print("第%d页爬取成功" % i)# 如果找不到不能点的下一页的class,去点击下一页if driver.page_source.find("shark-pager-next shark-pager-disable shark-pager-disable-next") == -1:driver.find_element_by_class_name("shark-pager-next").click()else:print("爬取完成")breakprint("一共有%d个主播" % self.n)if __name__ == "__main__":spider = DouyuSpider()spider.workOn()

爬取斗鱼主播名字和热度相关推荐

使用selenium,xpath,线程池爬取斗鱼主播信息
使用xpath,线程池爬取斗鱼主播信息: 主要爬取主播昵称,直播内容分类,房间名称,房间号以及人气,共爬取了大概110多页数据,大概15000条,保存在txt文本中, import timefrom ...
利用xpath爬取斗鱼主播热度和房间标题
import requests import pandas as pd from bs4 import BeautifulSoup import os import time import rando ...
python爬取斗鱼主播图片
今天闲来无事,爬取一下斗鱼女主播的图片,之前学习scrapy的时候写过一个找不到了,今天使用requests和bs4重新写了一份,闲话不多说,直奔主题. 首先用Chrome浏览器访问斗鱼官网: 当然是 ...
python爬取斗鱼主播图片_F_hawk189_新浪博客
今天闲来无事,爬取一下斗鱼女主播的图片,之前学习scrapy的时候写过一个找不到了,今天使用requests和bs4重新写了一份,闲话不多说,直奔主题. 首先用Chrome浏览器访问斗鱼官网: 当然是 ...
使用python爬取虎牙主播直播封面图片（scrapy）
目的:使用Scrapy框架爬取虎牙主播直播封面图片 Scrapy(通过pip 安装Scrapy框架pip install Scrapy)和Python3.x安装教程可自行寻找教程安装,这里默认在Win ...
爬取虎牙主播，免费爬些想看的东西，咳咳（为什么要学python？）
废话不多说,咱直接上代码: """ 导入相关的包(功能模块) """import requests #用来在代码里代替浏览器发送网络请求 f ...
Python爬取美女主播图片适合初学者
Python爬取虎牙女主播图片,非常适合初学者,代码少,思路清晰开发环境Pycharm import time import requests from lxml import etree from ...
Python爬取虎牙主播图片
开发环境Pycharm import time import requests from lxml import etree from urllib import requesturl = " ...
python熊猫小课成果_python实战之原生爬虫(爬取熊猫主播排行榜)
""" this is a module,多行注释 """ import re from urllib import request # B ...
使用scrapy爬取手机版斗鱼主播的房间图片及昵称
目的:通过fiddler在电脑上对手机版斗鱼主播进行抓包,爬取所有主播的昵称和图片链接关于使用fiddler抓取手机包的设置: 把手机和装有fiddler的电脑处在同一个网段(同一个wifi),手机 ...

爬取斗鱼主播名字和热度

爬取斗鱼主播名字和热度相关推荐

最新文章

热门文章