Python + selenium 爬取淘宝网(销量，店铺名，价格等)

import time
from selenium import webdriver
from lxml import etreedef Run(keywords, numPage):# 构造无头的ChromeDriveroption = webdriver.ChromeOptions()option.add_argument('headless')driver = webdriver.Chrome(executable_path='D:\\Project\\Pycharm\\Driver\\chromedriver.exe', chrome_options=option)# 存放数据list = []for i in range(numPage):url = 'https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&keyword=' + keywords + '&clk1=4ccf3c1994a6f9cc579ec534e8b1bec2&upsId=4ccf3c1994a6f9cc579ec534e8b1bec2&spm=a2e0b.20350158.31919782.1&pid=mm_26632258_3504122_32538762&union_lens=recoveryid%3A201_11.27.9.205_6368855_1626600603206%3Bprepvid%3A201_11.175.82.69_6378466_1626601143040&pnum=' + str(i)# ChromeDriver访问指定URLdriver.get(url)# 等待ChromeDriver打开URL页面time.sleep(3)# ChromeDriver解析指定URL页面html = driver.page_source# 构造etreee = etree.HTML(html)for j in range(1, 61):productName = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[1]/span/text()')salesVolume = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[4]/div[2]/text()')shopName = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[3]/div/text()')price = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[2]/span[2]/text()')list_tmp = shopName[0], productName[0], price[0], salesVolume[0]list.append(list_tmp)return listif __name__ == '__main__':# 搜索的关键词keywords = "遮阳伞女"# 设置翻页数量numPage = 2data = Run(keywords, numPage)for i in range(len(data)):print(data[i])

默认你的selenium已经适配好ChromeDriver了

内容格式如下：

Python + selenium 爬取淘宝网(销量，店铺名，价格等)相关推荐

python +selenium 爬取淘宝网商品信息
前几天用python爬取豆瓣关于电影<长城>的影评,发现豆瓣的网页是静态的,心中一阵窃喜.以为对于动态网页了解的不是太多.但是主要是用cookie加headers爬取的.效果还不错,爬取了 ...
Python + selenium 爬取淘宝商品列表及商品评论 2021-08-26
Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26] 主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒主要内容通过python3.8+ sel ...
吃货们看好了!python+selenium爬取淘宝美食
前言今天为大家介绍一个利用Python的selenium打开浏览器的方式来爬去淘宝美食,这个小案例涵盖了selenium的基本知识点,如何打开浏览器以及关键字的搜索导入第三方库打开浏览器搜索功 ...
python +Selenium 爬取淘宝商品评论
第一步现在淘宝防爬取做的比较好,如果直接爬的话总是出现登陆界面.从而获取不到信息. 解决办法,新建淘宝.py import json from selenium import webdriver ...
使用python selenium爬取淘宝商品信息自动登录淘宝和爬取某一宝贝的主图，属性图和详情图等等
selenium作为一个自动化测试工具非常好用,谁用谁知道啊. 先说如何登录淘宝,淘宝现在直接用会员名和密码登录会有滑块验证,找了网上说的几种方法和自己尝试了一番效果还是不太理想,实测过程中,即使滑块 ...
python+selenium爬取淘宝商品信息+淘宝自动登录——爬虫实战
1.前言继续学习爬虫内容,这回是以selenium模拟操作进行抓取,其中有几个需要登陆的注意事项. 2.自动登陆+查找页面由于现在淘宝的反爬机制,需要登陆才好下一步操作.在搜索输入后页面会调入登陆 ...
Python selenium 爬取淘宝商品
Catalog 翻页获取动态页面信息提取商品信息完整代码翻页 from urllib import parse domain = 'https://s.taobao.com/search?' ...
爬虫（6）-使用selenium爬取淘宝天猫商品信息（价格，销售量等）
文章目录 1.只读取第一页 1.1准备工作 1.2.定位 1.3.获取商品信息 1.4. 整体代码 1.5.输出结果展示 1.6改进,存储在CSV文件内并分行存储 2.读取多页商品信息 2.1部分问题 ...
python爬淘宝商品销量信息_python爬取淘宝商品销量信息
python爬取淘宝商品销量的程序,运行程序,输入想要爬取的商品关键词,在代码中的'###'可以进一步约束商品的属性,比如某某作者的书籍,可以在###处输入作者名字,以及时期等等.最后可以得到所要商品 ...

Python + selenium 爬取淘宝网(销量，店铺名，价格等)

Python + selenium 爬取淘宝网(销量，店铺名，价格等)相关推荐

最新文章

热门文章