Pythom爬虫之图虫小姐姐图片的爬取：

导入库：

import jsonpath
import time
import os

如果没有安装的话，可以通过：

pip install 库 # 安装

我们找到我们要爬取的网址：

进行如图

我们登录后面，我们定位到图片，通过再network里面找到,因为这个是Json数据，我们在json文件里面找，找到后面，我们找header里面找到

url=“https://tuchong.com/rest/tags/%E7%BE%8E%E5%A5%B3/posts”

我们在浏览器打开这个url，可以看到如图：

里面有我们要找得数据，下面我们就可以用jsonpath对这个网址进行数据得提取

因为里面是json数据，所以我们可以对通过jsonpath对我们想要得数据进行一个表单提交，获取json

创建提交表单：

  parames = {'page': page, 'count': 20, 'order': 'weekly', 'before_timestamp': ''}response = requests.get(url, params=parames).json()print(response)#测试是否获取json数据了

对json数据里面得图片进行jsonpath定位：

img_urls=jsonpath.jsonpath(response,'$..cover_image_src')print(img_urls)

依次提取图片：

    for img_url in img_urls:img_content=requests.get(img_url).content

数据得存储：

 with open(r'./{}/{}.jpg'.format('图虫',index),'wb') as f:f.write(img_content)print(r'***正在下载: {}.jpg'.format(index))

实现不止对第一页数据得提取：

num = 10
index = 0for page in range(1, num + 1):

下面是完整的代码：

import requests
import jsonpath
import time
import osurl = 'https://tuchong.com/rest/tags/%E7%BE%8E%E5%A5%B3/posts'num = 10
index = 0for page in range(1, num + 1):time.sleep(5)parames = {'page': page, 'count': 20, 'order': 'weekly', 'before_timestamp': ''}response = requests.get(url, params=parames).json()# print(response)img_urls=jsonpath.jsonpath(response,'$..cover_image_src')print(img_urls)for img_url in img_urls:img_content=requests.get(img_url).contentindex+=1if not os.path.exists(r'./{}'.format('图虫')):os.mkdir(r'./{}'.format('图虫'))with open(r'./{}/{}.jpg'.format('图虫',index),'wb') as f:f.write(img_content)print(r'***正在下载: {}.jpg'.format(index))

效果图：

Pythom爬虫之图虫小姐姐图片的爬取：相关推荐

python爬虫你们最爱的YY小姐姐，这不爬取下来看看？
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 ( 想要学习Python?Python学习交流群:1039649593,满足你的需 ...
【Python爬虫系列教程 22-100】小姐姐教大家爬取喜马拉雅全站音频数据，探秘喜马拉雅的天籁之音
文章目录一.前言二.寻找音频的URL 三.请求参数的处理四.重新分析目标网站五.实现代码六.爬取结果一.前言喜马拉雅FM是一个知名的音频分享平台,在移动音频行业的市场占有率已达73%,用 ...
十一、练习：爬取图虫网付费图片
十.练习:爬取图虫网免费图片今天爬下图虫网付费的图片,比之前的免费图片简单. 这里的付费图片都是一个专辑的这个我在一个公开课听的,说这个是:https://tuchong.com/rest/tag ...
[ Python ] 爬虫类库学习之 xpath，爬取彼岸图网的小姐姐图片
安装:pip install lxml 实例化一个etree对象 from lxml import etree 1.将本地的html文档中的源码数据加载到etree对象中 etree.parse(fi ...
python爬虫爬取清纯小姐姐图片
文章目录 1 思路介绍 2 完整代码 2 代码介绍 2.1 获取网站 2.3 创建目录 2.4 找到首图的名称和地址 2.5 实现同一个人的翻页 2.6 实现每一位小姐姐图片的连接 2.7 爬取图片 ...
python爬虫爬取小姐姐图片
前言大致熟悉了python的基础语法以后,开始学习爬虫基础. 一.爬取前的准备工作 python3.7环境(只要是python3版本都可以): 依赖包 : time requests re (缺少包 ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
数据获取网络爬虫之--爬取小姐姐图片
运行环境: python3+jupyter notebook 可直接运行代码下载地址: https://download.csdn.net/download/weixin_44754046/1122 ...
python多线程下载小姐姐图片
python多线程下载小姐姐图片闲谈思路实现过程单线程实现代码功能问题描述多线程处理办法完成效果闲谈今日闲来无事,翻看博客,看到一篇关于python自动下载图片的文章,就萌生了也写一 ...

Pythom爬虫之图虫小姐姐图片的爬取：

Pythom爬虫之图虫小姐姐图片的爬取：

Pythom爬虫之图虫小姐姐图片的爬取：相关推荐

最新文章

热门文章