我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
本文记录了笔者用 Python 爬取淘宝某商品的全过程,并对商品数据进行了挖掘与分析,最终得出结论。
项目内容
本案例选择>> 商品类目:沙发;
数量:共100页 4400个商品;
筛选条件:天猫、销量从高到低、价格500元以上。
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
项目目的
这里还是要推荐下小编的Python学习群:483546416,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2017最新的Python资料和0基础入门教程,欢迎初学和进阶中的小伙伴。在不忙的时间我会给大家解惑。
对商品标题进行文本分析 词云可视化
不同关键词word对应的sales的统计分析
商品的价格分布情况分析
商品的销量分布情况分析
不同价格区间的商品的平均销量分布
商品价格对销量的影响分析
商品价格对销售额的影响分析
- 不同省份或城市的商品数量分布
9.不同省份的商品平均销量分布
注:本项目仅以以上几项分析为例。
项目步骤
数据采集:Python爬取淘宝网商品数据
对数据进行清洗和处理
文本分析:jieba分词、wordcloud可视化
数据柱形图可视化 barh
数据直方图可视化 hist
数据散点图可视化 scatter
- 数据回归分析可视化 regplot
工具&模块:
工具:本案例代码编辑工具 Anaconda的Spyder
模块:requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。
一、爬取数据
因淘宝网是反爬虫的,虽然使用多线程、修改headers参数,但仍然不能保证每次100%爬取,所以 我增加了循环爬取,每次循环爬取未爬取成功的页 直至所有页爬取成功停止。
说明:淘宝商品页为JSON格式 这里使用正则表达式进行解析;
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
二、数据清洗、处理:
(此步骤也可以在Excel中完成 再读入数据)
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
说明:根据需求,本案例中只取了 item_loc, raw_title, view_price, view_sales 这4列数据,主要对 标题、区域、价格、销量 进行分析。
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
三、数据挖掘与分析:
【1】. 对 raw_title 列标题进行文本分析:
使用结巴分词器,安装模块pip install jieba
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
对 title_s(list of list 格式)中的每个list的元素(str)进行过滤 剔除不需要的词语,即 把停用词表stopwords中有的词语都剔除掉:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
因为下面要统计每个词语的个数,所以 为了准确性 这里对过滤后的数据 title_clean 中的每个list的元素进行去重,即 每个标题被分割后的词语唯一。
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
观察 word_count 表中的词语,发现jieba默认的词典 无法满足需求:
有的词语(如 可拆洗、不可拆洗等)却被cut,这里根据需求对词典加入新词(也可以直接在词典dict.txt里面增删,然后载入修改过的dict.txt)
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
词云可视化:
安装模块 wordcloud:
方法1: pip install wordcloud
方法2: 下载Packages安装:pip install 软件包名称
软件包下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud
注意:要把下载的软件包放在Python安装路径下。
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
分析结论:
组合、整装商品占比很高;
从沙发材质看:布艺沙发占比很高,比皮艺沙发多;
从沙发风格看:简约风格最多,北欧风次之,其他风格排名依次是美式、中式、日式、法式 等;
- 从户型看:小户型占比最高、大小户型次之,大户型最少。
【2】. 不同关键词word对应的sales之和的统计分析:
(说明:例如 词语 ‘简约’,则统计商品标题中含有‘简约’一词的商品的销量之和,即求出具有‘简约’风格的商品销量之和)
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
对表df_word_sum 中的 word 和 w_s_sum 两列数据进行可视化
(本例中取销量排名前30的词语进行绘图)
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表可知:
组合商品销量最高 ;
从品类看:布艺沙发销量很高,远超过皮艺沙发;
从户型看:小户型沙发销量最高,大小户型次之,大户型销量最少;
从风格看:简约风销量最高,北欧风次之,其他依次是中式、美式、日式等;
- 可拆洗、转角类沙发销量可观,也是颇受消费者青睐的。
【3】. 商品的价格分布情况分析:
分析发现,有一些值太大,为了使可视化效果更加直观,这里我们结合自身产品情况,选择价格小于20000的商品。
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表可知:
商品数量随着价格总体呈现下降阶梯形势,价格越高,在售的商品越少;
低价位商品居多,价格在500-1500之间的商品最多,1500-3000之间的次之,价格1万以上的商品较少;
- 价格1万元以上的商品,在售商品数量差异不大。
【4】. 商品的销量分布情况分析:
同样,为了使可视化效果更加直观,这里我们选择销量大于100的商品。
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表及数据可知:
销量100以上的商品仅占3.4% ,其中销量100-200之间的商品最多,200-300之间的次之;
销量100-500之间,商品的数量随着销量呈现下降趋势,且趋势陡峭,低销量商品居多;
- 销量500以上的商品很少。
【5】. 不同价格区间的商品的平均销量分布:
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表可知:
价格在1331-1680之间的商品平均销量最高,951-1331之间的次之,9684元以上的最低;
总体呈现先增后减的趋势,但最高峰处于相对低价位阶段;
- 说明广大消费者对购买沙发的需求更多处于低价位阶段,在1680元以上 价位越高 平均销量基本是越少。
【6】. 商品价格对销量的影响分析:
同上,为了使可视化效果更加直观,这里我们结合自身产品情况,选择价格小于20000的商品。
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表可知:
总体趋势:随着商品价格增多 其销量减少,商品价格对其销量影响很大;
- 价格500-2500之间的少数商品销量冲的很高,价格2500-5000之间的商品多数销量偏低,少数相对较高,但价格5000以上的商品销量均很低 没有销量突出的商品。
【7】. 商品价格对销售额的影响分析:
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表可知:
总体趋势:由线性回归拟合线可以看出,商品销售额随着价格增长呈现上升趋势;
多数商品的价格偏低,销售额也偏低;
- 价格在0-20000的商品只有少数销售额较高,价格2万-6万的商品只有3个销售额较高,价格6-10万的商品有1个销售额很高,而且是最大值。
【8】. 不同省份的商品数量分布:
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
由图表可知:
广东的最多,上海次之,江苏第三,尤其是广东的数量远超过江苏、浙江、上海等地,说明在沙发这个子类目,广东的店铺占主导地位;
- 江浙沪等地的数量差异不大,基本相当。
【9】. 不同省份的商品平均销量分布:
代码如下:
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”
热力型地图
我用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”相关推荐
- 爬取 4400 条淘宝洗发水数据,拯救你的发际线!(附代码和数据集)
本文通过淘宝"防脱发洗发水"爬取和分析,来提供爬取海量淘宝商品信息的思路,除了基础爬虫外,还应该思考拿到类似的商品数据之后如何清洗,以及作为一个分析者可以从什么维度去分析. 作者 ...
- python爬取并分析淘宝商品信息
python爬取并分析淘宝商品信息 背景介绍 一.模拟登陆 二.爬取商品信息 1. 定义相关参数 2. 分析并定义正则 3. 数据爬取 三.简单数据分析 1.导入库 2.中文显示 3.读取数据 4.分 ...
- python爬取数据分析淘宝商品_python爬取并分析淘宝商品信息
python爬取并分析淘宝商品信息 Tip:本文仅供学习与交流,切勿用于非法用途!!! 背景介绍 有个同学问我:"XXX,有没有办法搜集一下淘宝的商品信息啊,我想要做个统计".于是 ...
- Python爬虫之定时抢购淘宝商品
Python爬虫之定时抢购淘宝商品 import time from selenium import webdriver import datetimeclass Spider:def __init_ ...
- 用Python打造一个智能搜索淘宝商品,生成操作日志的系统
/1 前言/ 随着网购的兴起,使得很多传统店铺转型做线上生意,电子商务的产生极大便利了我们的生活. /2 项目目标/ 通过Python程序一键搜索并直达目的地,爬取淘宝商品链接,商品名称,及商品的图片 ...
- Python爬虫之获取淘宝商品数据
爬取淘宝信息数据 首先需要先导入webdriver from selenium import webdriver webdriver支持主流的浏览器,比如说:谷歌浏览器.火狐浏览器.IE浏览器等等 然 ...
- 手把手教你使用Python打造一个智能搜索淘宝商品!
/1 前言/ 随着网购的兴起,使得很多传统店铺转型做线上生意,电子商务的产生极大便利了我们的生活. /2 项目目标/ 通过Python程序一键搜索并直达目的地,爬取淘宝商品链接,商品名称,及商品的图片 ...
- python爬虫数据分析项目 双十一_Python爬取淘宝商品数据,价值千元的爬虫外包项目!...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 完整代码可以点击下方链 ...
- Python爬取44130条用户观影数据,分析挖掘用户与电影之间的隐藏信息!
1.前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以点击下方链接自行获取 Python免费学习 ...
- Python爬取淘宝商品数据,价值千元的爬虫外包项目
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 完整代码可以点击下方链 ...
最新文章
- 丰润达全面完成安防传输生态体系布局
- eclipse 设置豆沙绿保护色,保护眼睛
- idea项目没法继承httpservlet_intelj idea社区版开发web项目
- Java学习笔记-网络编程
- 计算机数媒专业优势,27所院校新开设数字媒体艺术专业,“数媒”专业为什么这么火?...
- 《架构之美》阅读笔记四
- Apache Tika源码研究(七)
- 编译自定义的主题theme
- 3dmax 计算机中丢失,3DMax如何找回丢失的3D命令面板或工具栏
- YASKAWA 安川变频器调试软件支持多种机型
- 软件测试的六大测试质量标准
- MySQL查看索引和数据所占内存
- HanLP《自然语言处理入门》笔记--2.词典分词
- 百度收录如何API提交(java、python)
- 清华梦的粉碎—写给清华大学的退学申请(转自王垠Blog)
- 求告知pycharm的这条边界线怎么设置
- 组件、Prop属性的基本用法
- uefi装完系统后无法引导_uefi模式怎么重装系统|uefi重装系统教程
- 使用UltraISO从文件还原Linux操作系统ISO
- 三步搞定 vscode 代码格式化
热门文章
- STM32F103_study49_The punctual atoms(STM32 Bit operation and logical operation in C language )
- Windows影子账户创立
- 2019年新能源汽车补贴政策,赶紧了解车牌识别!
- chromebook 笔记本 TrueNas 设置 wifi 连网
- 7.2 可分离变量的微分方程
- 敌营十八年Ⅱ虎胆雄心
- android linux 双系统实现(android+buster)同时运行
- kafka craft 尝鲜
- MarkDown学习备忘录
- 查找——图文翔解SkipList(跳跃表)