python爬虫实例电商_价值上千元的Python爬虫外包案例，学会你就赚了

2024-06-08 20:09:17

前言

随着互联网时代的到来，人们更加倾向于互联网购物。某宝又是电商行业的巨头，在某宝平台中有很多商家数据。

今天带大家使用python+selenium工具获取这些公开的

适合人群：

Python零基础、对爬虫数据采集感兴趣的同学！

环境介绍：

python 3.6

pycharm

selenium

time

1、安装selenium模块

pip install selenium

2、请求网页地址

if __name__ == '__main__':

keyword = input('请输入你要查询的商品数据：')

driver = webdriver.Chrome()

driver.get('https://www.taobao.com')

main()

def search_product(key):

"""模拟搜索商品，获取最大页数"""

driver.find_element_by_id('q').send_keys(key) # 根据id值找到搜索框输入关键字

driver.find_element_by_class_name('btn-search').click() # 点击搜索案例

driver.maximize_window() # 最大化窗口

time.sleep(15)

page = driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[1]') # 获取页数的标签

page = page.text # 提取标签的文字

page = re.findall('(\d+)', page)[0]

# print(page)

return int(page)

4、获取商品数据

def get_product():

divs = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq "]')

for div in divs:

info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text # 商品名称

price = div.find_element_by_xpath('.//strong').text + '元' # 商品价格

deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text # 付款人数

name = div.find_element_by_xpath('.//div[@class="shop"]/a').text # 店铺名称

print(info, price, deal, name, sep='|')

with open('data.csv', 'a', newline='') as csvfile: # newline='' 指定一行一行写入

csvwriter = csv.writer(csvfile, delimiter=',') # delimiter=',' csv数据的分隔符

csvwriter.writerow([info, price, deal, name]) # 序列化数据，写入csv

def main():

search_product(keyword)

page = get_product()

完整代码如下：

from selenium import webdriver

import time

import re

import csv

def search_product(key):

"""模拟搜索商品，获取最大页数"""

driver.find_element_by_id('q').send_keys(key) # 根据id值找到搜索框输入关键字

driver.find_element_by_class_name('btn-search').click() # 点击搜索案例

driver.maximize_window() # 最大化窗口

time.sleep(15)

page = driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[1]') # 获取页数的标签

page = page.text # 提取标签的文字

page = re.findall('(\d+)', page)[0]

# print(page)

return int(page)

def get_product():

divs = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq "]')

for div in divs:

info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text # 商品名称

price = div.find_element_by_xpath('.//strong').text + '元' # 商品价格

deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text # 付款人数

name = div.find_element_by_xpath('.//div[@class="shop"]/a').text # 店铺名称

print(info, price, deal, name, sep='|')

with open('data.csv', 'a', newline='') as csvfile: # newline='' 指定一行一行写入

csvwriter = csv.writer(csvfile, delimiter=',') # delimiter=',' csv数据的分隔符

csvwriter.writerow([info, price, deal, name]) # 序列化数据，写入csv

def main():

search_product(keyword)

page = get_product()

if __name__ == '__main__':

keyword = input('请输入你要查询的商品数据：')

driver = webdriver.Chrome()

driver.get('https://www.taobao.com')

main()

喜欢的就请关注加点赞

python爬虫实例电商_价值上千元的Python爬虫外包案例，学会你就赚了相关推荐

python爬虫实例电商_如何用代码爬抓电商数据（附淘宝API调用实例）
原标题:如何用代码爬抓电商数据(附淘宝API调用实例) 欢迎关注天善智能 hellobi.com,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习.问答.求职,一站式搞定! 对商业智能B ...
python爬虫实例电商_利用Python爬虫批量获取电商网站图片
import requests import re url='https://list.jd.com/list.html?cat=9987,653,655' res=requests.get(url) ...
python爬虫实例电商_Python案例：先爬虫爬取，再分析2000款避孕套，最后得出这个结论...
在学过了Python爬虫.数据分析之后,曾几何时,这样一个问题一直缠绕着我. Python爬虫能用来干点什么?Python数据分析能不能让这剪不断理还乱的数据变得更有意义? 也许,想来想去,只有用来干 ...
python各种包安装顺序_史上最全的Python包管理工具：Anaconda教程
事实上Anaconda 和 Jupyter notebook已成为数据分析的标准环境. 简单来说,Anaconda是包管理器和环境管理器,Jupyter notebook 可以将数据分析的代码.图像和 ...
python爬虫实例电商_Python实现爬取并分析电商评论
现如今各种APP.微信订阅号.微博.购物网站等网站都允许用户发表一些个人看法.意见.态度.评价.立场等信息.针对这些数据,我们可以利用情感分析技术对其进行分析,总结出大量的有价值信息.例如对商品评论的 ...
python学生管理系统用列表_史上最全面的python学生管理系统教程（二）
序言这篇我们来讲该软件的数据保存方式,由于想到要简便快捷,所以我采用了sqlite3数据库,该数据库操作简单方便,而且易于管理,并且SQLite是一个进程内的库,实现了自给自足的.无服务器的.零配置 ...
python爬取淘宝商品做数据挖掘_Python 3爬虫数据清洗与可视化实战 Python数据抓取技术 python3网络爬虫教程书籍运用Python工具获取电商平台页面数据挖掘书籍...
A8 书名:Python 3爬虫数据清洗与可视化实战作译者:零一,韩要宾,黄园园出版时间:2018-03 千字数:200 版次:01-01 页数:212 开 ...
医药电商、线上药房、连锁药店、用药咨询、药箱补货、药师认证、分销商、合伙人、医生管理、诊所管理、处方药、收银、发票、电子会员卡、门店调拨、提成分销、问诊咨询、积分、顾客、流程图、业务逻辑、营销、优惠
医药电商.线上药房.连锁药店.用药咨询.药箱补货.药师认证.分销商.合伙人.医生管理.诊所管理.处方药.收银.发票.电子会员卡.门店调拨.提成分销.问诊咨询.积分.顾客.流程图.业务逻辑.营销.优惠 ...
虾皮跨境电商|shopee店铺上新怎么做到极致？
Shopee店铺维持一个平稳的上新频率,是能够确保店铺的活跃度,Shopee也会给与大量的流量帮扶的.但是Shopee卖家在上新的情况下,还要了解一些上新方法,才可以使你的新产品得到大量曝出,也使你的 ...

最新文章

热门文章