爬取淘宝商品图片(仅用于技术交流)

主要用的是selenium自动化工具

#！ /usr/bin/env python
# -*-.coding: utf-8 -*-
# __author__ = 'xiaobai'
# Email: 517840374@qq.com# 安装seleniumfrom selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
import time
import requests# 创建浏览器
browser = Chrome()browser.get("http://www.taobao.com")browser.find_element_by_xpath('//*[@id="q"]').send_keys('男装', Keys.ENTER)
while 1:
# 让程序等着，用户手动登录while browser.current_url.startswith("https://login.taobao.com"):print("等着")time.sleep(1)n = 1# 7 开始查找图片items = browser.find_element_by_class_name("m-itemlist").find_elements_by_class_name('item')for item in items:src_path = item.find_element_by_class_name('pic-box').find_element_by_tag_name('img').get_attribute("data-src")print(src_path)src_path = 'http:'+src_path# 下载这张图片，保存到文件中# open(f"{n}.jpg",'wb').write(requests.get(src_path).content)n += 1pages = browser.find_element_by_class_name("m-page").find_element_by_class_name('J_Submit')browser.execute_script("arguments[0].click();", pages)time.sleep(10)print('下一页')

爬取淘宝商品图片(仅用于技术交流)相关推荐

python爬取淘宝商品图片
python爬取淘宝商品的图片话不多说,直接上代码: from selenium import webdriver from selenium.webdriver.common import key ...
【python爬虫】selenium爬取淘宝商品图片
一.说明淘宝商品的爬取,主要用到selenium和css选择器,本案例难度较低可以用作selenium的入门. 注意:扫码登录是手动操作二.代码演示 from selenium import we ...
使用Selenium爬取淘宝商品（绕过登录页面）
文章目录 1.准备工作 2.接口分析 3.页面分析 4.获取商品列表 5.解析商品列表 6.保存到MongoDB 7.遍历每页 8.异常处理(绕过登录反爬机制) 方法一:修改ChromeDriver. ...
Python爬取淘宝商品信息保存到Excel
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python+scrapy简单爬取淘宝商品信息
python结合scrapy爬取淘宝商品信息一.功能说明: 已实现功能: 通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息. 待扩展功能: 爬取商品中的全部其他商品信息. 二. ...
Python爬虫：Selenium模拟Chrome浏览器爬取淘宝商品信息
对于采用异步加载技术的网页,有时候想通过逆向工程的方式来设计爬虫进行爬取会比较困难,因此,要想通过python获取异步加载数据往往可以使用Selenium模拟浏览器的方式来获取. Selenium是一 ...
利用Selenium爬取淘宝商品信息
文章来源:公众号-智能化IT系统. 一. Selenium和PhantomJS介绍 Selenium是一个用于Web应用程序测试的工具,Selenium直接运行在浏览器中,就像真正的用户在操作一样. ...
python爬取淘宝商品做数据挖掘
作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 项目内容: 本项目选择淘宝商品类目:零食数量:一共100页,44 ...
爬虫「Python」：一次登录，解决爬取淘宝商品评价繁杂的问题——简述 Headers 的使用
在爬取淘宝商品评价时,可能会被以下几个问题所困扰: (1)直接请求,服务器要求登录帐号,怎么登录? (2)请求到的网页 Html 怎么没有我要的评价信息? (3)等等下面介绍一下我使用的比较简单的获 ...

爬取淘宝商品图片(仅用于技术交流)

爬取淘宝商品图片(仅用于技术交流)相关推荐

最新文章

热门文章