Python爬虫学习之爬取淘宝搜索图片

准备工作

因为淘宝的反爬机制导致Scrapy不能使用，所以我这里是使用selenium来获取网页信息，并且通过lxml框架来提取信息。

selenium、lxml安装和版本适配

selenium需要与当前的chrome版本相匹配，否则会报错。如下图：

适配的方法可以参考：https://blog.csdn.net/qq_26200629/article/details/86141131，这里介绍的很详细了，我就不多说了。我使用的是PyCharm开发的，在插件管理中直接添加selenium和lxml就行

初始化构造函数

site_url是当前访问页。
base_site_url用来拼接跳转页。
chrome_driver是你下载的chromedriver所在路径。
sleep_time为休息时长。
save_img_path 图片保存路径。

    def __init__(self):"""初始化构造函数"""self.base_site_url = 'https://s.taobao.com/search?q=男士衬衫'self.site_url = 'https://s.taobao.com/search?q=男士衬衫'chrome_driver = 'C:/Users/CSSRC/AppData/Local/Temp/7zOC8AB4263/chromedriver.exe'self.driver = webdriver.Chrome(executable_path=chrome_driver)self.sleep_time = 5self.save_img_path = 'D:/git-proj/CrawlerFromTaoBao/image'

获取淘宝页面代码

    def get_page(self):"""获取淘宝页面代码"""self.driver.get(self.site_url)time.sleep(self.sleep_time)print(self.driver.title)self.get_item()

爬取当前页面的每个商品，提取商品的图片

    def get_item(self):"""爬取当前页面的每个商品，提取商品的图片"""html = self.driver.page_source.encode('utf-8')selector = etree.HTML(html)itemList = selector.xpath("//*[@class='J_ItemPic img']")# 循环遍历该页所有商品for divPic in itemList:image_id = divPic.xpath("./@id")[0]image_url = divPic.xpath("./@data-src")[0]self.save_img(self.save_img_path, image_url, image_id)# 获取分页信息pagination = selector.xpath("//*[@class='item next']/a/@data-value")print(pagination)print('正在准备切换分页')if len(pagination) == 0:print('没有下一页了')else:print('加载下一页内容')self.site_url = self.base_site_url + "&s=" + pagination[0]print(self.site_url)self.get_page()

存储图片方法

    def save_img(savePath, imageURL, fileName):"""存储图片方法Arguments:imageURL <string> -- 图片的urlfileName <string> -- 用于存储的文件名/图片的ID"""print('开始保存图片' + fileName)with open(savePath + '/' + fileName + '.png', 'wb') as f:f.write(requests.get("http:" + imageURL).content)

Python爬虫学习之爬取淘宝搜索图片相关推荐

python爬虫——用selenium爬取淘宝商品信息
python爬虫--用selenium爬取淘宝商品信息 1.附上效果图 2.淘宝网址https://www.taobao.com/ 3.先写好头部 browser = webdriver.Chrome ...
Python爬虫实战(5)-爬取淘宝网服装图片(Selenium+Firefox)
前言今天我们巩固一下前面学过的知识,通过Selenium+Firefox实现模拟浏览器并自动翻页,爬取图片并写入本地文件中. 以搜索"女装"为例,自动爬取"女装&quo ...
【python爬虫】selenium爬取淘宝商品图片
一.说明淘宝商品的爬取,主要用到selenium和css选择器,本案例难度较低可以用作selenium的入门. 注意:扫码登录是手动操作二.代码演示 from selenium import we ...
python使用requests库爬取淘宝指定商品信息
python使用requests库爬取淘宝指定商品信息在搜索栏中输入商品通过F12开发者工具抓包我们知道了商品信息的API,同时发现了商品数据都以json字符串的形式存储在返回的html内解析u ...
Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
python爬虫淘宝手机_【Python3 爬虫】14_爬取淘宝上的手机图片
现在我们想要使用爬虫爬取淘宝上的手机图片,那么该如何爬取呢?该做些什么准备工作呢? 首先,我们需要分析网页,先看看网页有哪些规律我们可以看到左侧是主题市场,将鼠标移动到[女装/男装/内衣]这一栏目, ...
江湖小白之一起学Python （五）爬取淘宝商品信息
趁热需打铁,随着这几天的鸡血澎湃,我们来实现一下爬取淘宝商品信息,我记得几年前曾用python写了下抓取淘宝天猫,京东,拍拍的爬虫,专门采集商品信息,图片,评论及评论图片,我还用pyqt开发了个客户端 ...
Python爬虫实战：抓取淘宝MM照片
本篇目标 1.抓取淘宝MM的姓名,头像,年龄 2.抓取每一个MM的资料简介以及写真图片 3.把每一个MM的写真图片按照文件夹保存到本地 4.熟悉文件保存的过程 1.URL的格式在这里我们用到的URL ...
为了部落来自艾泽拉斯勇士的python爬虫学习心得爬取大众点评上的各种美食数据并进行数据分析
为了希尔瓦娜斯第一个爬虫程序 csgo枪械数据先上代码基本思想问题1 问题2 爬取大众点评 URL分析第一个难题生成csv文件以及pandas库 matplotlib.pyplot库 K- ...