python -- 使用selenium模拟登录淘宝，爬取商品信息
2024-05-10 16:46:55
目录
- 环境
- 谷歌驱动下载
- 解析
- 结果
- 代码
环境
- windows10
- python3.7.3
- selenium
- 谷歌
- 谷歌驱动
谷歌驱动下载
http://chromedriver.storage.googleapis.com/index.html
下载与自己电脑谷歌浏览器版本相应的谷歌驱动
解析
在这里主要爬去商品的基本信息：
结果
代码
from selenium import webdriver
import time
from selenium.webdriver import ActionChains
import csv
f = open('./taobao.csv','a',newline='')
writer = csv.writer(f)def login(driver):driver.delete_all_cookies()url = "https://www.taobao.com/" #https://www.qcc.com/weblogin?back=%2Fdriver.get(url)time.sleep(10)while True:try:driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/ul[2]/li[2]/div[1]/a').click()breakexcept:time.sleep(5)while True:try:driver.find_element_by_xpath('/html/body/div/div[2]/div[3]/div/div/div/div[2]/div/form/div[1]/div[2]/input').send_keys('账号')driver.find_element_by_xpath('/html/body/div/div[2]/div[3]/div/div/div/div[2]/div/form/div[2]/div[2]/input').send_keys('密码')time.sleep(5)breakexcept:time.sleep(5)driver.find_element_by_xpath('/html/body/div/div[2]/div[3]/div/div/div/div[2]/div/form/div[4]/button').click()time.sleep(50)driver.find_element_by_xpath('/html/body/div[1]/div/ul[2]/li[1]/div/a').click()time.sleep(20)while True:try:driver.find_element_by_xpath('/html/body/div[2]/div/div/div[2]/div/div[1]/div[2]/form/div[2]/div[3]/div/input').send_keys('红酒')#input('输入爬取信息关键字：')driver.find_element_by_xpath('/html/body/div[2]/div/div/div[2]/div/div[1]/div[2]/form/div[1]/button').click()breakexcept:time.sleep(5)time.sleep(10)page = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[16]/div/div[1]/div/div[2]/ul/li[2]').text.split('/')[1]print(page)time.sleep(10)for _ in range(int(float(page))-1):for i in range(1,49):try:test = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[21]/div/div/div[1]/div[{}]/div[2]'.format(i)).text.split('\n')print(test)writer.writerow(test)except:passtime.sleep(3)try:driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[26]/div/div/div/ul/li[8]/a').click()except:try:driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[26]/div/div/div/ul/li[9]/a').click()except:try:driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[26]/div/div/div/ul/li[10]/a').click()except:try:driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[26]/div/div/div/ul/li[11]/a').click()except:try:driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[3]/div[1]/div[26]/div/div/div/ul/li[12]/a').click()except:passtime.sleep(10)try:a = driver.find_element_by_xpath('/html/body/div/div[2]/div/div[1]/div[2]/center/div[1]/div/div[1]/div[2]/span').textexcept:a = []print(a)if '滑块' in a:button = driver.find_element_by_xpath('/html/body/div/div[2]/div/div[1]/div[2]/center/div[1]/div/div[1]/span')# 滑动滑块ActionChains(driver).click_and_hold(button).perform()# 拉动滑块ActionChains(driver).move_by_offset(xoffset=258, yoffset=0).perform()ActionChains(driver).release().perform()time.sleep(10)driver.close()f.close()def main():# while True:"""chromeOptions 是一个配置 chrome 启动是属性的类,就是初始化"""option = webdriver.ChromeOptions()"""add_experimental_option 添加实验性质的设置参数"""option.add_experimental_option('excludeSwitches', ['enable-automation']) # webdriver防检测'''add_argument 添加启动参数'''option.add_argument("--disable-blink-features=AutomationControlled")option.add_argument("--no-sandbox")option.add_argument("--disable-dev-usage")"""Chrome 配置驱动"""driver = webdriver.Chrome(executable_path=r'/home/zc/桌面/chromedriver',options=option) # 在这里更换自己的谷歌驱动的地址driver.set_page_load_timeout(15)login(driver)# jugesd(driver)if __name__ == '__main__':main()希望这篇文章对你有用！
谢谢点赞评论！
python -- 使用selenium模拟登录淘宝，爬取商品信息相关推荐
- selenium模拟登录淘宝
基于selenium模拟登录淘宝读取cookie 1. from selenium import webdriver import time from selenium.webdriver.commo ...
- Python post请求模拟登录淘宝并爬取商品列表！
一.前言 大概是一个月前就开始做淘宝的爬虫了,从最开始的用selenium用户配置到selenium模拟登录,再到这次的post请求模拟登录.一共是三篇博客,记录了我爬取淘宝网的经历.期间也有朋友向我 ...
- Selenium 模拟登录淘宝，获取cookies给requests使用
文章目录 前言 代码 总结 前言 今天爬取淘宝商品图片,遇到登录拦截,看了淘宝的登录 url 里的请求参数,好多加密,果断放弃. 不过可以用selenium模拟登录,然后获取cookies给reque ...
- 手把手教你用Python模拟登录淘宝
作者 | 猪哥66 来源 | 裸睡的猪(ID:IT--Pig) 最近想爬取淘宝的一些商品,但是发现如果要使用搜索等一些功能时基本都需要登录,所以就想出一篇模拟登录淘宝的文章! 看了下网上有很多关于模拟 ...
- Python模拟登录淘宝都实现了，你还怕模拟登录？
点击"简说Python",选择"置顶/星标公众号" 福利干货,第一时间送达! 本文授权转载自裸睡的猪,禁二次转载 作者:猪哥66 阅读文本大概需要 8 分钟. ...
- 手把手教你如何用Python模拟登录淘宝
作者 | 猪哥66 来源 | 裸睡的猪(ID:IT--Pig) 最近想爬取淘宝的一些商品,但是发现如果要使用搜索等一些功能时基本都需要登录,所以就想出一篇模拟登录淘宝的文章! 看了下网上有很多关于模 ...
- Python学习教程：用Python模拟登录淘宝
今天跟大家出的Python学习教程,Python模拟登录淘宝,我知道,肯定是吸引了你,一起来看看吧! 最近想爬取淘宝的一些商品,但是发现如果要使用搜索等一些功能时基本都需要登录,所以就想出一篇模拟登录 ...
- python模拟登录网站_Python模拟登录淘宝都实现了，你还怕模拟登录？
文章转载自公众号 :裸睡的猪 , 作者 猪哥66 最近想爬取淘宝的一些商品,但是发现如果要使用搜索等一些功能时基本都需要登录,所以就想出一篇模拟登录淘宝的文章! 看了下网上有很多关于模拟登录淘宝,但是 ...
- 手把手教你用Python模拟登录淘宝 ！
最近想爬取淘宝的一些商品,但是发现如果要使用搜索等一些功能时基本都需要登录,所以就想出一篇模拟登录淘宝的文章! Python资源共享群:626017123 看了下网上有很多关于模拟登录淘宝,但是基本都 ...
最新文章
- python字典的键可以用列表吗_python字典多键值及重复键值的使用方法(详解)
- Centos 7下查看当前目录大小及文件个数
- 三十、开始前端Vue.js的学习之路
- NodeJS开发环境配置
- 电脑延迟关机命令Shutdown详解
- Crowdin 使用指南
- Android BLE(1)---蓝牙通讯学习
- php csrf jsonp,读取型CSRF（JSONP劫持、CORS跨域资源读取、Flash跨域劫持）
- python获取指定字符串中重复模式最高的字符串
- 使用 Python 学习和破解古典密码
- U盘Linux游戏系统,batocera.linux U盘街机游戏系统下载
- java pojo类
- 【论文笔记】使用物理原理和领域知识进行无标注的监督学习
- 陆羽茶交所严建红：陆羽茶产业互联网三螺旋模式
- IC卡与磁条卡的数据区别
- 国内最好的五大广告聚合平台
- 数据结构【一轮复习】---绪论(王道+天勤)
- odbc建oracle dsn,Linux平台配置Oracle ODBC DSN的方法
- 鸿蒙harmonyOS怎么读取应用是否存在静默安装
- 点分治+CDQ分治+整体二分全纪录