python怎么爬虎牙_Python爬虫爬取虎牙数据!谁才是虎牙第一主播!
首先打开我们所需要爬取的网站,这里我们挑选的是虎牙直播。
我们今天所爬取的数据就是直播名,直播地址,直播的人,观看数以及直播的类别,如下图所示
第一步关于直播的类别,从第一张图片我们可以看到在右边有直播的各种类型,我们只需点击某一个就可以进入相应的直播。
那么我们就按下F12来观察一下
我们发现他们都是在一个标签为a,class属性为recomend-item j_sidebar-recomend-item 的里面,并且里面有一个属性herf,点击进去就是相应的直播。
那么我们就可以使用Beautifulsoup库的find_all方法来找到各个类别的网址及名称,代码如下图所示:
import requests
from bs4 import BeautifulSoup
url = 'https://www.huya.com/l'
headers = {
"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
r = requests.get(url,headers = headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
html = BeautifulSoup(r.text,'html.parser')
a = html.find_all('a',class_ ='recomend-item j_sidebar-recomend-item')
for i in a:
print(i)
让我们看看运行的结果
是一系列标签,但我们这里所需要的是网站href以及类别title,于是我们写下代码:
for i in a:
href = i['href']
title = i['title']
print(href,title)
查看运行结果
可以发现得到了我们想要的结果,这里我们可以创建一个二维列表来一起存放网址和类别:
urls.append([href,title])
得到了这些之后我们可以选取一个网址进入,我这里选择的是英雄联盟,点击进去后如图:
现在我们可以爬取直播的名字,观看量以及主播的名字,我们按下F12
这里我们可以看到数据都存放在一个class属性为game-live-item,标签为li里面,打开这个li标签我们可以看到
下面有两个a标签,一个span标签,同时我们发现我们可以爬取的数据的位置
知道这些之后我们又可以用我们的Beautifulsoup库来获取想要的数据,首先我们先把所有的li标签给找到
a = html.find_all('li',class_ = 'game-live-item')
1
首先获得主播的名称,在第一个a标签下的img标签的属性alt里,这里我们可以直接用select函数来找img标签即可,代码如下
title = i.select('img')[0]['alt']
1
其次获得网址,直播名,是在第二个a标签下属性href和title,代码如下:
href = i.select('a')[1]['href']
title1 = i.select('a')[1]['title']
12
最后获得观看量,在i标签下由于是数字我们直接用text便可以得到
num = i.select('i',class_ = 'js-num')[3].text
1
最后将他们三者都打印出来,看看运行的效果:
最后附上完整代码:
import requests
from bs4 import BeautifulSoup
url = 'https://www.huya.com/l'
headers = {
"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
r = requests.get(url,headers = headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
html = BeautifulSoup(r.text,'html.parser')
a = html.find_all('a',class_ ='recomend-item j_sidebar-recomend-item')
urls = []
for i in a:
href = i['href']
title = i['title']
#print(href,title)
urls.append([href,title])
for url in urls:
r = requests.get(url[0],headers = headers)
html = BeautifulSoup(r.text,'html.parser')
a = html.find_all('li',class_ = 'game-live-item')
print(url[1])
for i in a:
num = i.select('i',class_ = 'js-num')[3].text
title = i.select('img')[0]['alt']
href = i.select('a')[1]['href']
title1 = i.select('a')[1]['title']
print(title,href,title1,num)
python怎么爬虎牙_Python爬虫爬取虎牙数据!谁才是虎牙第一主播!相关推荐
- python网络爬图_Python爬虫爬图片需要什么
Python爬虫爬图片需要什么?下面用两种方法制作批量爬取网络图片的方法: 第一种方法:基于urllib实现 要点如下: 1.url_request = request.Request(url) 2. ...
- python基金预测分析_Python爬虫抓取基金数据分析、预测系统设计与实现
版权声明:本文为博主原创文章,如果转载请给出原文链接:http://doofuu.com/article/4156231.html 目前在开发一款基于Python的基金爬取.分析.预测系统,目前已经开 ...
- python唐诗分析综合_Python爬虫抓取唐诗宋词
一 说明 Python语言的爬虫开发相对于其他编程语言是极其高校的,在上一篇文章 爬虫抓取博客园前10页标题带有Python关键字(不区分大小写) 的文章中,我们介绍了使用requests做爬虫开发, ...
- python全网表情包_Python爬虫爬取最右公众号表情包资源
某天上厕所刷手机,看到最右公众号里面有一个表情包资源合集 点进去发现有70多期表情包,突然就想到了最近学的爬虫,立马跑回去打开电脑准备看能不能全部爬下来. 我的想法是先找到这70多期的url链接,然后 ...
- python找电影资源_Python爬虫爬取BT之家找电影资源
head.jpg 一.写在前面 最近看新闻说圣城家园(SCG)倒了,之前BT天堂倒了,暴风影音也不行了,可以说看个电影越来越费力,国内大厂如企鹅和爱奇艺最近也出现一些幺蛾子,虽然目前版权意识虽然越来越 ...
- python爬歌词_python爬虫抓取某易云音乐歌词,从此不在下载
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:企鹅号小编 ( 想要学习Python?Python学习 ...
- python爬虫爬汽车图片_python爬虫爬取汽车网站外型图片
我选择的起始网址:http://www.hao123.com/auto/brand 当你随便选择一个车牌的选框( 不要 同时选择多个选框)你就会发现每个车牌对应一个网址 每个网址的区别就是数字不同 比 ...
- python二手房使用教程_python爬虫爬取链家二手房信息
#coding=utf-8 import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup imp ...
- python爬取微博评论_python爬虫抓取新浪微博数据
需求分析 微博主页 抓取的内容包括:微博发布的时间,正文(仅提取文字),转发数,评论数,点赞数 抓取的内容 数据是怎么加载的 新浪微博的数据是用ajax异步下拉加载的,在chrome的调试模式下可捕捉 ...
最新文章
- 【转】ADO.NET对数据库操作经典类
- CDH6.3.2集群安装hue报错: HDFS dependency is missing.
- 腾讯技术工程沙龙深圳站来了,我们一起聊聊“工业互联网”
- C++ const 关键字使用
- Android中用OpenGL ES Tracer分析绘制过程
- catia2017安装包打开没反应_云顶手游10.19安装包,9月16日
- 练手:微博热搜小爬虫
- html (第四本书第九章参考)
- 福昕PDF阅读器文本复制功能设置
- 《都在用的商务精英礼仪》读书笔记
- Unity中制作图片字体
- Mac中从pdf文件中提取指定页的方法
- 6.9对一个工作簿中的所有工作表分别求和并将求和结果写入固定单元格
- 【win11】关闭 Windows 安全中心中的Defender 防病毒保护
- [windows 10]当前桌面壁纸的保存位置
- 模拟信号隔离器|隔离放大器|隔离变送器 常见问题解答
- Android客户端与PC服务器如何实现Socket通信
- SSH 文件操作命令
- 超市购物车的全球与中国市场2022-2028年:技术、参与者、趋势、市场规模及占有率研究报告
- 阿里OCR扫描字识别demo