关于
在一个安静的夜晚，我缓慢的打开了电脑，望着已经睡着的父母，我轻轻的把门关上，看着斗鱼颜值主播的魅力，我不尽感叹，要是每天都可以不需要那么麻烦的去看那该有多好!
于是我想起了最近刚学的爬虫，嘴角露出了迷之微笑。

开始

我原本以为我这样的菜鸟，如果想爬的话应该只能用xpath来爬取斗鱼图片，可是当我在爬取途中想获取地址,发现了很奇怪的现象

之后我去百度了，看到他们说斗鱼是哪js写的所以我xpath找不到…
所以我就去看了一下jsonpath这个库…

jsonpath语法和xpath语法

json在线解析传送门
链接:https://www.json.cn/

jsonpath流程图

1.先打开斗鱼链接
2.按下f12
3.找到这个
4.复制到json解析,找到图片链接

5.找到链接url的规律

代码块

import jsonpath
import requests
import timename=input('请输入图片关键字:')
#发送请求
url='https://www.douyu.com/japi/search/api/searchShow?kw='+name+'&page=1&pageSize=20'
#模拟浏览器
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'}
#解析数据
response=requests.get(url,headers=headers).json()n=0#jsonpath需要位置，和目标
img_url_list=jsonpath.jsonpath(response,'$..roomSrc')for img in img_url_list:#延迟一下time.sleep(1)#获取名字,因为有些分割有dy1所以用ifif (img.split('/')[-1])=='dy1':file_name=img.split('/')[-2]else:file_name=img.split('/')[-1]#再次发送请求,转换为二进制数data=requests.get(img,headers=headers).content#保存数据with open(file_name,'wb')as f:f.write(data)n=n+1print('第%d张保存成功'%n)

结果

总结
坚持就是胜利,不忘初心，方得始终，每天进步一点点。

利用python爬虫爬取斗鱼图片(简单详细)相关推荐

利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！
首先我准备利用mysql来存储我爬取的信息,建一个host表如下: 然后下载pymysql ,利用它与数据库链接,因为在这里我只涉及到写入的操作: Unit_Mtsql 然后就是使用Beautiful ...
python指定爬取虎牙图片(简单详细)
关于看了很久的斗鱼主播图片,我的欲望也欲来不满,望着他隔壁家的虎牙,我的心开始动摇,最后,我忍不住点开了看,发现了新鲜的图片,人就是如此,祖传手艺岂可落下,于是我开始爬取虎牙的图片- 想看斗鱼的指定 ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
python爬虫,爬取下载图片
python爬虫,爬取下载图片分别引入以下三个包 from urllib.request import urlopen from bs4 import BeautifulSoup import re ...
Python爬虫爬取相关图片
简要的实现实现Python爬虫爬取百度贴吧页面上的图片,下面的网页就是本篇博客所要爬的网页,当然看到的只是其中的一部分图片,是所要爬取的页面, 而下图则是最终的爬取的图片: 接下来就简要的讲讲爬取的整 ...
python爬虫爬取网页图片_Python爬虫：爬取网页图片
先分析查找要爬取图片的路径在浏览器F12 审查元素整体实现代码 # -- coding:UTF-8 -- import requests from bs4 import BeautifulSoup ...
利用Python爬虫爬取网页福利图片
最近几天,学习了爬虫算法,通过参考书籍,写下自己简单爬虫项目: 爬取某福利网站的影片海报图片环境:anaconda3.5+spyder3.2.6 目录 1.本节目标 2.准备工作 3.抓取分析 4. ...
利用python爬虫爬取京东商城商品图片
笔者曾经用python第三方库requests来爬取京东商城的商品页内容,经过解析之后发现只爬到了商品页一半的图片.(这篇文章我们以爬取智能手机图片为例) 当鼠标没有向下滑时,此时查看源代码的话,就会 ...
详细分析如何利用python批量爬取百度图片
这篇文章主要写的是利用python网络爬虫批量来爬取百度图片并保存到文件夹中. 首先我们打开百度图片这个网页:https://image.baidu.com/ 我们现在随便搜一个类型的图片,比如小狗, ...

利用python爬虫爬取斗鱼图片(简单详细)

开始

jsonpath语法和xpath语法

jsonpath流程图

代码块

利用python爬虫爬取斗鱼图片(简单详细)相关推荐

最新文章

热门文章