python爬取斗鱼主播图片
首先用Chrome浏览器访问斗鱼官网:
当然是选择颜值辣:
然后鼠标放在第一张图片上,检查元素:
发现图片的url在这里:
我们会发现data-original和src内容是一样的,那就选择哪个就可以喽,我们打开这个url试一下:
OK,就是这个了,然后对这个标签在的位置进行分析,发现:
所有图片都在这个div标签下,那就好办了,开始写代码:
首先:
import requestsfrom bs4 import BeautifulSoup headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/62.0.3202.89 Safari/537.36'}
导入requests和bs4库,顺带带上了headers。
然后是进行筛选,获取到所有图片的url
def get_img_url():url = 'https://www.douyu.com/directory/game/yz' response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, 'html.parser')girl_list = soup.select('div[class="items items01 item-data clearfix"]')for girl in girl_list:li_list = girl.select('li')for li in li_list:yield li.img['data-original']
复制过来为啥缩进都没有了,好奇怪,各位可以自行缩进,逻辑不难,应该都能看懂。
最后是主函数,对图片进行保存:
if __name__ == '__main__':img_url = get_img_url()for num, img in enumerate(img_url):img_response = requests.get(img)# response = requests.get('https://rpic.douyucdn.cn/live-cover/appCovers/2017/12/05/1977639_20171205204858_big.jpg') Image = img_response.contentImage_path = './pictures/%s.png' % numfp = open(Image_path, 'wb')fp.write(Image)fp.close()
还是没有缩进,for以下的内容都是for循环内的。。。
到此,大功告成,成果如下:
还有一个问题没实现,就是当前页只有这么多主播照片,第二页还有呢,各位可以自行加上翻页,这样就可以将所有颜值的主播照片都怕去了下来
。。
python爬取斗鱼主播图片相关推荐
- python爬取斗鱼主播图片_F_hawk189_新浪博客
今天闲来无事,爬取一下斗鱼女主播的图片,之前学习scrapy的时候写过一个找不到了,今天使用requests和bs4重新写了一份,闲话不多说,直奔主题. 首先用Chrome浏览器访问斗鱼官网: 当然是 ...
- Python爬取美女主播图片适合初学者
Python爬取虎牙女主播图片,非常适合初学者,代码少,思路清晰 开发环境Pycharm import time import requests from lxml import etree from ...
- Python爬取虎牙主播图片
开发环境Pycharm import time import requests from lxml import etree from urllib import requesturl = " ...
- 使用selenium,xpath,线程池爬取斗鱼主播信息
使用xpath,线程池爬取斗鱼主播信息: 主要爬取主播昵称,直播内容分类,房间名称,房间号以及人气,共爬取了大概110多页数据,大概15000条,保存在txt文本中, import timefrom ...
- 使用python爬取虎牙主播直播封面图片(scrapy)
目的:使用Scrapy框架爬取虎牙主播直播封面图片 Scrapy(通过pip 安装Scrapy框架pip install Scrapy)和Python3.x安装教程可自行寻找教程安装,这里默认在Win ...
- 利用xpath爬取斗鱼主播热度和房间标题
import requests import pandas as pd from bs4 import BeautifulSoup import os import time import rando ...
- 爬取虎牙主播,免费爬些想看的东西,咳咳(为什么要学python?)
废话不多说,咱直接上代码: """ 导入相关的包(功能模块) """import requests #用来在代码里代替浏览器发送网络请求 f ...
- PYTHON爬取斗鱼英雄联盟所有在玩adc的主播房间信息
Python爬取斗鱼英雄联盟所有玩adc的主播房间信息并用redis存储数据 最近想要用巩固下json数据的提取以及数据的存储,于是选了斗鱼作为研究对象.. 下面就是所有要爬取的adc,当然有个别ad ...
- python爬取斗鱼当前英雄联盟主播排名
python爬取斗鱼当前英雄联盟主播排名 代码 # 目的:爬取斗鱼英雄联盟当前主播的排名 # 找到对应网页 # 分析排名和名称相对的位置# 模拟HTTP请求,获取HTML数据 # 用正则表达式获取对应 ...
最新文章
- ROS中launch文件使用笔记
- DedeCMS(织梦)安全设置经验分享
- 南华大学java补考_关于2017年秋季学期学生补考报名及成绩复核的通知
- 社交网络图中结点的“重要性”计算 (30 分)【最高效解法】
- c或c++语言什么时候用补码来运算,C/C++(基础编码-补码详解)
- javascript类型系统——正则表达式RegExp类型
- cocos2dx之Http网络编程(一)——网络请求的发送和接收
- Mac OS下Axure RP 8.0.0.3312安装及注册汉化
- python参考手册下载_Python中文手册【Word版 】
- 微信小程序使用crypto.js加密解密
- 程序员有必要参加软考吗?软考有什么用?
- html用九张图片做出九宫图,.九图片详解和制作
- 在线免费PDF英文论文全文翻译
- In-class Initialization
- [Practical.Vim(2012.9)].Drew.Neil.Tip10学习摘要
- 共享单车蓝牙锁方案phy6222系列蓝牙芯片
- 方舟官方服务器怎么不显示伤害,方舟单人怎么显示伤害 | 手游网游页游攻略大全...
- nodejs将图片的像素值提取出来将RGBA转换成16位彩色
- 计算机组成每日一题 2020 July
- Cloudflare友情提醒:使用SNI的必要性
热门文章
- PHPStorm中使用phpcs和php-cs-fixer
- 上传IPA包到App Store
- matlab tic和toc单位,Matlab中tic和toc用法
- 基于51单片机的脉搏测量仪(心率计)
- h5 适配 iphoneX 的全面屏 (上有刘海 ,下有呼吸灯) ,在iphonX 上 fixed定位的问题
- 1414. 和为 K 的最少斐波那契数字数目 贪心+递归 大年初三力扣是想意思意思一下呗~
- WT588F02B-8S(芯片代码C001_01)语音芯片在化妆品/保健品/食品行业保质期和使用期得应用解决方案
- 单键带定时雾化补水仪-DLT8P65SA
- 智慧园区运行监控中心
- 【PyTorch】切记:GeForce RTX 3090 显卡仅支持 CUDA 11 以上的版本!