Python数据爬虫学习笔记（10）淘宝图片爬虫实战

所谓图片爬虫，即是从互联网中自动把对方服务器上的图片爬下来的爬虫程序。

一、图片爬虫前的网页链接分析

1.首先打开淘宝首页，在搜索框中输入关键词，如“神舟”，在搜索结果界面中点击下一页，分别打开第一页，第二页，第三页的搜索结果，并记下每一页结果的URL至记事本中，如下：

2.观察每一个网页的URL，不要去观察它们不同的部分，而是着眼于每个URL中相似的部分。

（1）可以注意到每个URL中都有“s=XXX”部分，推测为代表了不同的页码的数值，0代表第一页，44代表了第二页，88代表了第三页，推测132代表第四页，将第一页的URL中的“s=0”修改为“s=132”，即可发现神奇般地跳转到了第四页。

（2）虽然将URL复制下来之后无法看到关键词，但是在浏览器中可以清晰看到“q=XXX”为输入的关键词内容，可以推测，浏览器在实际获取网页时将中文字符进行了编码。

3.因此可以初步设想出图片爬虫所需要的网页链接的结构：

二、图片爬虫前的图片链接分析

1.右键单击淘宝网页上的图片，点击复制图片地址，粘贴到记事本中分析：

3.观察URL，注意到前半部分为图片资源在服务器中的地址，后半部分为图片名称以及其格式，特别是“250X250”代表了图片的分辨率，因为在淘宝搜索页中，为节省资源，采取了缩略图的方式。

4.将图片URL中的核心部分，如本例的“TB2ISTydyCYBuNkSnaVXXcMsVXa”在源代码页面中进行搜索：

将链接复制下来打开，即可发现，高清大图无处遁形：

5.观察图片链接的前后格式，注意到前以 pic_url":" 开头，后以 ", 结尾，本例内容比较简单，无需进行抓包即可获取图片链接。

三、图片爬虫程序编写

import urllib.request
import re
keyname="神舟"
key=urllib.request.quote(keyname) #编码
#尝试爬取前三页内容
for i in range(0,3): #构造页面URLurl="https://s.taobao.com/search?q="+key+"&s=44"data=urllib.request.urlopen(url).read().decode("utf-8","ignore")pat='pic_url":"//(.*?)"'#获得图片URLimagelist=re.compile(pat).findall(data)for j in range(0,len(imagelist)):thisimg=imagelist[j]#构造图片URLthisimgurl="http://"+thisimgfile="F:/taobaoIMG/"+str(i)+str(j)+".jpg"urllib.request.urlretrieve(thisimgurl,filename=file)

Python数据爬虫学习笔记（10）淘宝图片爬虫实战相关推荐

python网络爬虫学习笔记（二）：爬虫基本概述
1.爬虫的基本概述 (1) 获取网页爬虫首先要做的工作就是获取网页,这里就是获取网页的源代码.源代码里包含了网页的部分有用信息,所以只要把源代码获取下来,就可以从中提取想要的信息了. python提 ...
Python数据科学学习笔记之——机器学习专题
机器学习专题 1.专题:朴素贝叶斯分类 1.1.朴素贝叶斯分类朴素贝叶斯分类器建立在贝叶斯分类方法的基础上,其数学基础是贝叶斯定理--一个描述统计量条件概率关系的公式.在贝叶斯分类中,我们希望确定一 ...
python爬虫学习笔记(三)——淘宝商品比价实战(爬取成功)
2020年最新淘宝商品比价定向爬取功能描述目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格. 理解:淘宝的搜索接口翻页的处理技术路线:requests re 程序的结 ...
Python数据科学学习笔记之——Matplotlib数据可视化
Matplotlib 数据可视化 1.Matplotlib 常用技巧 1.1.导入 Matplotlib import matplotlib as mpl import matplotlib.pypl ...
Python数据可视化学习笔记：第一章关联图第四节使用Python绘制一般气泡图
前言声明:这个系列的博文都是我自己学习所得的东西,秉承着每天进步一点点的理念进行学习,我参考的课程是<菊安酱与菜菜的Python机器学习可视化50图>,使用的Python版本为3.6.4 ...
c语言更新数据,sqlite学习笔记10：C语言中使用sqlite之查询和更新数据
前面说到的 sqlite_exec() 中的第三个参数, SQLite 将为 sql 参数内执行的每个 SELECT 语句中处理的每个记录调用这个回调函数. 本节添加了两个函数,selectFromT ...
【爬虫学习笔记day66】7.8. scrapy-redis实战-- IT桔子分布式项目2
文章目录 7.8. scrapy-redis实战-- IT桔子分布式项目2 项目实现: items.py settings.py middlewares.py spiders/juzi.py scra ...
《TensorFlow深度学习》学习笔记--10.卷积神经网络--1.LeNet-5实战
1. LeNet-5 实战 1. 导入相关的包 import tensorflow as tf from tensorflow.keras import Sequential, layers, los ...
【爬虫学习笔记day65】7.7. scrapy-redis实战-- IT桔子分布式项目1
文章目录 7.7. scrapy-redis实战-- IT桔子分布式项目1 7.7. scrapy-redis实战-- IT桔子分布式项目1 IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息 ...
python爬虫学习笔记 1.9 （Handler处理器和自定义Opener）
python爬虫学习笔记 1.1(通用爬虫和聚焦爬虫) python爬虫学习笔记 1.2 ( HTTP和HTTPS ) python爬虫学习笔记 1.3 str和bytes的区别 python爬虫学习 ...

Python数据爬虫学习笔记（10）淘宝图片爬虫实战

Python数据爬虫学习笔记（10）淘宝图片爬虫实战相关推荐

最新文章

热门文章