Pandas数据分析⑥——数据分析实例（货品送达率与合格率/返修率/拒收率）

Pandas系列目录如下：
Pandas数据分析①——数据读取（CSV/TXT/JSON)
Pandas数据分析②——数据清洗（重复值/缺失值/异常值）
Pandas数据分析③——数据规整1（索引和列名调整/数据内容调整/排序）
Pandas数据分析④——数据规整2（数据拼接/透视)
Pandas数据分析⑤——数据分组与函数使用（Groupby/Agg/Apply/mean/sum/count)
Pandas数据分析⑦——数据分析实例2（泰坦尼克号生存率分析）

本文通过一个实际案例，来看下Pandas进行数据分析的具体步骤

数据来源：
某企业销售的6种商品的送货及用户反馈数据

解决问题：
1、配送服务是否存在问题
2、是否存在尚有潜力的销售区域
3、商品是否存在质量问题

先放结论：
1、货品4→西北，货品2→马来西亚两条线路存在较大问题，急需提升时效
2、货品2在华东地区还有较大市场空间，适合加大投入，同时货品2在西北配送时效长，用户拒收率高，从成本角度考虑，应该减少投入
3、货品1、2、4质量存在问题，建议扩大抽检范围，增大质检力度

分析过程如下（文末有数据源获取方式）

一、数据清洗

① 重复值、缺失值、格式调整

data = pd.read_csv('data.csv',encoding='gbk',header=0)
print(data.info())

通过info()可以查看数据的轮廓，包括有10列，每1列的名字，数据量，格式等，从中可以明显看出：

① 订单号，货品交货情况，数量这3列是有缺失值，但最多缺失4行，数据量较小，直接删除不会影响整体分析
② 订单行这1列对分析无关紧要，可以删除
③ 销售金额格式不对，要改成float

# 删除重复值，这个虽然没有看出来，但是必须要在其它处理前处理掉
print(data.duplicated().value_counts())
data.drop_duplicates(keep='first',inplace=True)
# 删除缺失值
data.dropna(how='any',inplace=True)
# 去掉“订单行”列
data.drop(columns=['订单行'],inplace=True,axis=1)
data = data.reset_index(drop=True)
print(data.head())

 # 修改销售金额格式
print(data.销售金额.head()) # 数据单位不一致，且数据中有逗号隔开，不适合分析

    def data_deal(number):if number.find('万元')!=-1:data = float(number[:number.find('万元')].replace(',',''))*10000else:data = number.replace('元','')data = float(data.replace(',',''))return datadata['销售金额'] = data['销售金额'].map(data_deal)

② 异常值处理

print(data.describe())

通过describe()可以对连续变量进行统计描述分析，从结果可以看出

① 销售金额存在等于0的，属于异常，要删除
② 数量和销售金额的标准差都在均值的8倍以上，结合最大值和75%分位数可知，存在部分较大的值导致数据左偏非常严重，可以通过describe(percentiles)参数再细致地看下较大值的分布情况

data = data[data['销售金额'] != 0 ]
print(data.describe(percentiles=np.linspace(0.98,0.9999,15)))

从98%以上分位数可看出，数量是不断增加，销售额也随数量不断增加，在电商行业，确实存在这样的帕累托效应，20%的大户可能会贡献80%的份额，因此这部分不算异常数据，在进行与数量和金额无关的分析时可以保留，有关时可以剔除掉不看，至此数据清洗完毕

二、数据规整

由于后续会有关于不同月份的分析，因此要增加一项辅助列：月份

data['月份'] = data['销售时间'].apply(lambda x: int(x[x.find('/',0)+1: x.find('/',5)]))
print(data.head())

三、数据分析

1、配送服务是否存在问题
① 月份维度

data['货品交货状况'] = data['货品交货状况'].str.strip()
data1 = data.groupby(['月份','货品交货状况']).size().unstack()
print(data1)
data1['按时交货率'] = data1['按时交货']/data1.sum(axis=1)
print(data1.sort_index())

从按时交货率看，16年Q4普通要低于Q3，猜测可能是气候原因

② 销售区域

 data1 = data.groupby(['销售区域','货品交货状况']).size().unstack()print(data1)data1['按时交货率'] = data1['按时交货']/data1.sum(axis=1)print(data1.sort_values('按时交货率',ascending=False))

西北存在最突出的送货延迟问题，急需解决

③ 货品维度

data1 = data.groupby(['货品','货品交货状况']).size().unstack()
print(data1)
data1['按时交货率'] = data1['按时交货']/data1.sum(axis=1)
print(data1.sort_values('按时交货率',ascending=False))

货品4晚交货的情况最为严重，其余还相对较好

④ 货品和销售区域结合

data1 = data.groupby(['货品','销售区域','货品交货状况']).size().unstack()
print(data1)
data1['按时交货率'] = data1['按时交货']/data1.sum(axis=1)
print(data1.sort_values('按时交货率',ascending=False))

结合销售区域和货品一起看，销售区域送货最差的为西北，主要送的货品有货品1和货品4，主要是货品4的送货较晚所致；货品送货最差的是货品2，主要送往华东和马来西亚，主要是马来西亚的送货较晚所致

因此，要重点解决货品4送往西北、货品2送往马来西亚的问题

2、是否存在尚有潜力的销售区域

①  月份维度

data1 = data.groupby(['月份','货品'])['数量'].sum().unstack()
print(data1)
# 解决不能显示中文的问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['font.serif'] = ['SimHei']
data1.plot()
plt.show()

货品2在10月和12月销售量暴增，其余货品销售量都趋于稳定，后面会看下货品2是否开发了新市场

② 不同区域

data1 = data.groupby(['销售区域','货品'])['数量'].sum().unstack()
print(data1)

从销售区域看，每种货品都是集中在1到3个区域销售，货品1是销售区域最多的，达到3个，货品2次之，2个，其余货品都是1个区域；

③ 月份和区域

data1 = data.groupby(['月份','销售区域','货品'])['数量'].sum().unstack()
print(data1['货品2'])

重点看了下销售数量有较大变动的货品2，发现其在**10月和12月的销售增长并非是开拓了新市场，而是在原有的华东地区增加了销量，猜测可能是对货品2在华东地区加大了营销推广所致

货品2在华东地区还有较大的市场空间，适合加大投入

③ 商品是否存在质量问题

data['货品用户反馈'] = data['货品用户反馈'].str.strip()
data1 = data.groupby(['货品','销售区域'])['货品用户反馈'].value_counts().unstack()
data1['拒货率'] = data1['拒货']/data1.sum(axis=1)
data1['返修率'] = data1['返修']/data1.sum(axis=1)
data1['合格率'] = data1['质量合格']/data1.sum(axis=1)
print(data1.sort_values(['合格率','返修率', '拒货率'],ascending=False))

货品3，5，6的合格率均较高，返修率也较低，说明质量还可以

货品1，2，4的合格率低，返修率高，说明质量存在一定问题

货品2在马来西亚拒收率是最高的，结合按时收货率看，货品2在马来西亚的延误也是比较严重的，说明马来西亚用户对送货的时效要求较高，如果达不到则会拒货；考虑到货品2主要的销售地区是华东且在10月和12月有较高的涨幅，可以考虑增大华东的投资，减少马来西亚的投入

本人互联网数据分析师，目前已出Excel，SQL，Pandas，Matplotlib，Seaborn，机器学习，统计学，个性推荐，关联算法，工作总结系列。

微信搜索并关注 " 数据小斑马" 公众号
1、回复“data”就可以领取文中数据集
2、回复“数据分析”可以免费获取下方15本数据分析师必备学习书籍一套