【python爬虫】selenium爬取淘宝商品图片

一.说明

淘宝商品的爬取，主要用到selenium和css选择器，本案例难度较低可以用作selenium的入门。
注意：扫码登录是手动操作

二.代码演示

from selenium import webdriver
from selenium.webdriver.common import keys
import time
import requests
import os# 创建浏览器
browser = webdriver.Chrome(r'D:\ChromeCoreDownloads\chromedriver.exe')
# 让浏览器打开淘宝
browser.get("https://www.taobao.com/")# 找到搜索框输入内容并搜索
browser.find_element_by_xpath('//*[@id="q"]').send_keys("男鞋", keys.Keys.ENTER)
time.sleep(1)
# 切换成二维码登录
browser.find_element_by_xpath('//*[@id="login"]/div[1]/i').click()# 判断当前页面是否为登录页面
while browser.current_url.startswith("https://login.taobao.com/"):print("等待用户输入")time.sleep(1)print("登录成功!!!")
n = 1
count = 1# 创建淘宝目录
os.mkdir(".\\淘宝图片")while True:items = browser.find_elements_by_css_selector('.m-itemlist .items > div')for item in items:# 获取这张图片的下载地址img = item.find_element_by_css_selector(".pic-box .pic img").get_attribute("data-src")# 拼接完成的下载地址img_url = "http:" + imgprint(img_url)# 通过requests下载这张图片file = open(f".\\淘宝图片\\{n}.jpg", "wb")file.write(requests.get(img_url).content)n += 1# 翻页操作browser.find_element_by_css_selector('.wraper:nth-last-child(1) .next > a').click()time.sleep(2)count += 1# 爬取 4 页内容if count == 4:# file.close()break# 关闭浏览器
browser.quit()

三.运行结果

【python爬虫】selenium爬取淘宝商品图片相关推荐

Python爬虫+selenium——爬取淘宝商品信息和数据分析
浏览器驱动点击下载chromedrive .将下载的浏览器驱动文件chromedriver丢到Chrome浏览器目录中的Application文件夹下,配置Chrome浏览器位置到PATH环境. 需 ...
python使用Selenium爬取淘宝商品信息
由于淘宝对自动化工具进行了识别,直接进入登录页面滑动二维码一直会报错,所以采取了曲线救国的方式,通过用微博账号来登录淘宝.刚自学<Python3网络爬虫开发实战>,和里面的代 ...
爬虫--selenium爬取淘宝商品数据
# 导入包 from selenium import webdriver # 连接驱动器,这里用的是谷歌,版本必须对应 driver = webdriver.Chrome(executable_pat ...
Python，自己修改的爬取淘宝网页的代码修改Python爬虫，爬取淘宝商品信息也不报错，也不输出信息的错误
代码部分: 下面是正确的: import requests import redef getHTMLText(url):try:r = requests.get(url, timeout = 30)r ...
python爬虫——用selenium爬取淘宝商品信息
python爬虫--用selenium爬取淘宝商品信息 1.附上效果图 2.淘宝网址https://www.taobao.com/ 3.先写好头部 browser = webdriver.Chrome ...
Python + selenium 爬取淘宝商品列表及商品评论 2021-08-26
Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26] 主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒主要内容通过python3.8+ sel ...
利用Selenium爬取淘宝商品信息
文章来源:公众号-智能化IT系统. 一. Selenium和PhantomJS介绍 Selenium是一个用于Web应用程序测试的工具,Selenium直接运行在浏览器中,就像真正的用户在操作一样. ...
使用Selenium爬取淘宝商品（绕过登录页面）
文章目录 1.准备工作 2.接口分析 3.页面分析 4.获取商品列表 5.解析商品列表 6.保存到MongoDB 7.遍历每页 8.异常处理(绕过登录反爬机制) 方法一:修改ChromeDriver. ...
python+scrapy简单爬取淘宝商品信息
python结合scrapy爬取淘宝商品信息一.功能说明: 已实现功能: 通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息. 待扩展功能: 爬取商品中的全部其他商品信息. 二. ...

【python爬虫】selenium爬取淘宝商品图片

一.说明

二.代码演示

三.运行结果

【python爬虫】selenium爬取淘宝商品图片相关推荐

最新文章

热门文章