Python+BI爬取3000条车厘子数据，发现了这些秘密
听说最近车厘子的价格突然猛跌，之前很多人梦寐以求的“车厘子自由”，现在都能实现了。其实车厘子的价格下降，主要原因是进口货运成本的大大降低，为了找到车厘子最佳的购买方式，我决定用python+BI进行数据分析。
因此我在淘宝上用python爬取了3000条数据，然后导入到了FineBI中进行可视化分析，最终制作出了下面这样一份可视化报告：
下面我展示一下操作过程：
一、数据获取
用Python在淘宝上进行数据爬取是老生常谈的操作了，直接在淘宝上搜索“车厘子”，在下面的商品页中可以看到，我们这次主要爬取的标签是“商品名称”、“价格”、“付款人数”、“店铺名称”、“发货地址”等：
按下F12，调出后台查看源代码，找到不同的商品标签代码，比如价格是“price g_price g_price-highlight">”，付款人数是“deal-cnt”等：
了解了网页的代码结构之后，下一步就可以在python里直接编写代码了，具体过程不详细介绍了，部分代码如下：
爬取完数据之后导入到Excel里，然后在Excel里经过简单的数据清洗和处理，最终得到一份完成的数据表：
二、数据分析
python虽然也能实现数据分析的功能，但是需要敲代码，学习成本和难度都比较大，不如直接利用专业的数据分析工具进行分析，比如常见的比如FineBI、Tableau、PowerBI等。
下面我直接以FineBI为例，FineBI是国内知名度比较高的本土数据分析工具，比起tableau这些国外工具最大的优点就是简单、灵活，只需要用鼠标拖拽就能实现各种分析操作，基本不需要写代码，对新手非常友好。
其实FineBI本质上属于企业级的业务数据分析平台，除了数据分析之外，还能实现数据管理、数据平台搭建等功能，这里就不详细介绍了，大家感兴趣的话我下一篇再介绍。
有了excel源表，首先我们将Excel导入到FineBI中：
然后直接点击页面左上角的“创建仪表板”，就可以进入到可视化后台：
下一步进入到仪表板进行可视化操作，基本步骤是“选择图表类型——选择指标和维度——拖拽到指定坐标轴——美化细节”，比如我想要创建一张可视化地图，首先要先选择图表类型为“区域地图”，然后要选择指标和维度，但是原数据表里没有地理纬度，因此需要自己创建：
最后，我们再拖拽到指定坐标轴，然后美化细节就可以完成一张可视化地图了：
以此类推，其他的可视化图表也能够按照我们自己的需求进行制作，这里不详细讲了。
三、数据可视化
1、车厘子销量分布情况
可以看出来国内车厘子最大的销量来自上海，以及浙江、广东两省，西藏、青海、内蒙古等省份都没有销量，基本上来说沿海地区的销量要高于内陆。
2、各省份销量情况
通过条形图就更明显了，上海的销量有20多万，几乎是浙江、广东、四川的总和。
3、各城市的销量情况
筛选出了销量前十的城市，以及每个城市平均的车厘子价格，可以看出来上海的销量和价格都是最高的，可以看出上海的购买力有多强了；
4、车厘子的价格区间情况
数据表里将价格区间分为“50以下”、“50-100”、“100-150”、“150-200”、“200-500”、“500以上”等，可以看出来占比最大的价格区间是“50-100”，这应该属于平民价格了；值得注意的是“200-500”的价格占比也高于“100-150”。
5、各门店的销量与价格情况
可以看出销量最高的基本都是旗舰店，最高的平均价格基本在600-800左右；
四、总结
因为数据不算多，所以这次没有做太深的数据分析，大家可以自己拿数据，在FineBI里进行更多的分析，文中涉及到的工具和数据表，回个“车厘子”就能得到。
Python+BI爬取3000条车厘子数据，发现了这些秘密相关推荐
- python爬虫代码1000行-几行Python代码爬取3000+上市公司的信息
几行Python代码爬取3000+上市公司的信息 来源:中文源码网 浏览: 次 日期:2019年11月5日 [下载文档: 几行Python代码爬取3000+上市公司的信息.txt ] (友情提示:右键 ...
- python多线程爬取斗图啦数据
python多线程爬取斗图啦网的表情数据 使用到的技术点 requests请求库 re 正则表达式 pyquery解析库,python实现的jquery threading 线程 queue 队列 ' ...
- python：爬取租房100页数据
python:爬取贝壳租房100页数据 import requests from bs4 import BeautifulSoup import csv,redef get_one_page(page ...
- python 爬虫爬取统计局北京统计数据
python 爬虫爬取统计局统计数据 写在前面 主要因为朋友写论文,要爬取北京的经济数据.拜托我写一个爬虫爬取数据.爬取的都是公开的数据,代码仅供学习使用,切勿用作非法. http://tjj.bei ...
- 5行Python代码爬取3000+ 上市公司的信息
基本环境配置 版本:Python3 系统:Windows 相关模块:pandas.csv 爬取目标网站 实现代码 import pandas as pd import csv for i in ran ...
- python爬虫课设-爬取3000条数据并做数据可视化
很久以前接的单子,分享一下(挺水的,将就着看吧) 文章目录 作业要求 数据爬取 爬取结果 数据处理 数据可视化 大作业文档 作业要求 <Python与数据分析>期末大作业要求(2020-2 ...
- 小伙用Python爬取3000条B站视频，发现刘华强买瓜是这么火起来的！
大家好,我是小五???? 最近B站这两个月,快被买瓜的刘华强屠版了,上一个这么火的人物,应该还是闪电五连鞭的马保国. 与之前的网络"审丑"视频不同,这次火的片段来自一部影视作品. ...
- 学习随笔-python动态爬取空气质量网数据的实现
想爬取https://www.aqistudy.cn/空气质量网上的河北省空气历史数据, 之前使用python写过基于scrapy的爬虫,想故技重施发现爬取不到想要的数据,仔细看过网页源代码后发现表格 ...
- python：爬取天气预报+美女网站数据信息
一.爬取湛江天气预报信息 url:http://www.weather.com.cn/weather/10128100101A.shtml 1.思路分析: ①先爬取网页所有数据,div/ul/li,获 ...
最新文章
- 论文 | 图像和谐化公开数据集：让前景和背景更“般配”
- 为什么充电电流变化有点大
- python要学多久-python要学多久
- java resources 路径_Java工程读取resources中资源文件路径问题
- java不使用除号实现除法运算_LeetCode29 Medium 不用除号实现快速除法
- jqxWidgets 常用代码
- 【Flink】Flink Distributed Cache 分布式缓存
- 可视化，别把简单内容复杂化
- java string转datetime_在JAVA中怎么将String转换成Datetime类型
- 8个免费查找文献的学术网站
- 刻录软件nero序列号有效性的检测
- FatFS-通用FAT文件系统详解
- COMSOL 电场与热场耦合
- 【01 赖世雄英语语法：单句的语法（句子的构成）】
- android设置闹钟日期,具有特定日期的Android闹钟设置
- SEO内链优化，网站内部链接优化方法
- html touch时没有阴影,4399touch怎么玩 Touch游戏常见问题汇总
- python安装hyperlpr
- redis_主从复制搭建
- 计算机类sci四大水刊,材料灌水的sci期刊_十大水榜sci杂志_四大垃圾sci杂志