今天闲来无事,爬取一下斗鱼女主播的图片,之前学习scrapy的时候写过一个找不到了,今天使用requests和bs4重新写了一份,闲话不多说,直奔主题。

首先用Chrome浏览器访问斗鱼官网:
当然是选择颜值辣:

然后鼠标放在第一张图片上,检查元素:
发现图片的url在这里:

我们会发现data-original和src内容是一样的,那就选择哪个就可以喽,我们打开这个url试一下:

OK,就是这个了,然后对这个标签在的位置进行分析,发现:

所有图片都在这个div标签下,那就好办了,开始写代码:
首先:

import requestsfrom bs4 import BeautifulSoup

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '                 'Chrome/62.0.3202.89 Safari/537.36'}

导入requests和bs4库,顺带带上了headers。

然后是进行筛选,获取到所有图片的url

def get_img_url():url = 'https://www.douyu.com/directory/game/yz'    response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, 'html.parser')girl_list = soup.select('div[class="items items01 item-data clearfix"]')for girl in girl_list:li_list = girl.select('li')for li in li_list:yield li.img['data-original']

复制过来为啥缩进都没有了,好奇怪,各位可以自行缩进,逻辑不难,应该都能看懂。

最后是主函数,对图片进行保存:

if __name__ == '__main__':img_url = get_img_url()for num, img in enumerate(img_url):img_response = requests.get(img)# response = requests.get('https://rpic.douyucdn.cn/live-cover/appCovers/2017/12/05/1977639_20171205204858_big.jpg')        Image = img_response.contentImage_path = './pictures/%s.png' % numfp = open(Image_path, 'wb')fp.write(Image)fp.close()

还是没有缩进,for以下的内容都是for循环内的。。。

到此,大功告成,成果如下:

还有一个问题没实现,就是当前页只有这么多主播照片,第二页还有呢,各位可以自行加上翻页,这样就可以将所有颜值的主播照片都怕去了下来
。。

python爬取斗鱼主播图片相关推荐

  1. python爬取斗鱼主播图片_F_hawk189_新浪博客

    今天闲来无事,爬取一下斗鱼女主播的图片,之前学习scrapy的时候写过一个找不到了,今天使用requests和bs4重新写了一份,闲话不多说,直奔主题. 首先用Chrome浏览器访问斗鱼官网: 当然是 ...

  2. Python爬取美女主播图片适合初学者

    Python爬取虎牙女主播图片,非常适合初学者,代码少,思路清晰 开发环境Pycharm import time import requests from lxml import etree from ...

  3. Python爬取虎牙主播图片

    开发环境Pycharm import time import requests from lxml import etree from urllib import requesturl = " ...

  4. 使用selenium,xpath,线程池爬取斗鱼主播信息

    使用xpath,线程池爬取斗鱼主播信息: 主要爬取主播昵称,直播内容分类,房间名称,房间号以及人气,共爬取了大概110多页数据,大概15000条,保存在txt文本中, import timefrom ...

  5. 使用python爬取虎牙主播直播封面图片(scrapy)

    目的:使用Scrapy框架爬取虎牙主播直播封面图片 Scrapy(通过pip 安装Scrapy框架pip install Scrapy)和Python3.x安装教程可自行寻找教程安装,这里默认在Win ...

  6. 利用xpath爬取斗鱼主播热度和房间标题

    import requests import pandas as pd from bs4 import BeautifulSoup import os import time import rando ...

  7. 爬取虎牙主播,免费爬些想看的东西,咳咳(为什么要学python?)

    废话不多说,咱直接上代码: """ 导入相关的包(功能模块) """import requests #用来在代码里代替浏览器发送网络请求 f ...

  8. PYTHON爬取斗鱼英雄联盟所有在玩adc的主播房间信息

    Python爬取斗鱼英雄联盟所有玩adc的主播房间信息并用redis存储数据 最近想要用巩固下json数据的提取以及数据的存储,于是选了斗鱼作为研究对象.. 下面就是所有要爬取的adc,当然有个别ad ...

  9. python爬取斗鱼当前英雄联盟主播排名

    python爬取斗鱼当前英雄联盟主播排名 代码 # 目的:爬取斗鱼英雄联盟当前主播的排名 # 找到对应网页 # 分析排名和名称相对的位置# 模拟HTTP请求,获取HTML数据 # 用正则表达式获取对应 ...

最新文章

  1. ROS中launch文件使用笔记
  2. DedeCMS(织梦)安全设置经验分享
  3. 南华大学java补考_关于2017年秋季学期学生补考报名及成绩复核的通知
  4. 社交网络图中结点的“重要性”计算 (30 分)【最高效解法】
  5. c或c++语言什么时候用补码来运算,C/C++(基础编码-补码详解)
  6. javascript类型系统——正则表达式RegExp类型
  7. cocos2dx之Http网络编程(一)——网络请求的发送和接收
  8. Mac OS下Axure RP 8.0.0.3312安装及注册汉化
  9. python参考手册下载_Python中文手册【Word版 】
  10. 微信小程序使用crypto.js加密解密
  11. 程序员有必要参加软考吗?软考有什么用?
  12. html用九张图片做出九宫图,.九图片详解和制作
  13. 在线免费PDF英文论文全文翻译
  14. In-class Initialization
  15. [Practical.Vim(2012.9)].Drew.Neil.Tip10学习摘要
  16. 共享单车蓝牙锁方案phy6222系列蓝牙芯片
  17. 方舟官方服务器怎么不显示伤害,方舟单人怎么显示伤害 | 手游网游页游攻略大全...
  18. nodejs将图片的像素值提取出来将RGBA转换成16位彩色
  19. 计算机组成每日一题 2020 July
  20. Cloudflare友情提醒:使用SNI的必要性

热门文章

  1. PHPStorm中使用phpcs和php-cs-fixer
  2. 上传IPA包到App Store
  3. matlab tic和toc单位,Matlab中tic和toc用法
  4. 基于51单片机的脉搏测量仪(心率计)
  5. h5 适配 iphoneX 的全面屏 (上有刘海 ,下有呼吸灯) ,在iphonX 上 fixed定位的问题
  6. 1414. 和为 K 的最少斐波那契数字数目 贪心+递归 大年初三力扣是想意思意思一下呗~
  7. WT588F02B-8S(芯片代码C001_01)语音芯片在化妆品/保健品/食品行业保质期和使用期得应用解决方案
  8. 单键带定时雾化补水仪-DLT8P65SA
  9. 智慧园区运行监控中心
  10. 【PyTorch】切记:GeForce RTX 3090 显卡仅支持 CUDA 11 以上的版本!