Python数据分析最常用的包是numpy和pandas

下面我们先从一维数据开始了解两个包的运用：一维数据Numpy》》Arrary

Pandas》》Series

一维数据分析：Numpy

#导入numpy数据包

import numpy as np

#定义，数组用array()，参数传入用列表【】

a=np.array([2,3,4,5])

#查询

a[3]

5

#切片访问：获取指定序号范围的元素

#比如 a[1:3],就是获取序号1到3的元素,0:3 就是顺序0到3的所有元素

a[0:3]

array([2, 3, 4])

#查看数据类型 dtype

a.dtype

dtype('int32')

#平均值,4个元素的平均值

a.mean()

3.5

#标准差

a.std()

1.118033988749895

#向量化运行：向量相加

b=np.array([2,3,4,5])

c=a+b

c

array([ 4, 6, 8, 10])

#没有print 就会显示arrary，可以加入print 就没有array

print(c)

[ 4 6 8 10]

#向量化运行：乘以标量

d=a*4

c

array([ 4, 6, 8, 10])

一维数据分析：Pandas

#Pandas 用series来定义一维数据结构

#这是6家公司的股价，其中腾讯时港元换成了没用

#注意Series,S一定要大写，不然找不到此项功能

import pandas as pd

stockS=pd.Series([54.74,190.9,173.14,1050.3,181.86,1139.49],

index=['Tencent','Alibaba','Apple','GOOGLE','Facebook','Amazon'])

stockS

Tencent 54.74

Alibaba 190.90

Apple 173.14

GOOGLE 1050.30

Facebook 181.86

Amazon 1139.49

dtype: float64

#描述性统计信息

stockS.describe()

count 6.000000

mean 465.071667

std 491.183757

min 54.740000

25% 175.320000

50% 186.380000

75% 835.450000

max 1139.490000

dtype: float64

#iloc 根据位置获取值

stockS.iloc[0]

54.74

#loc 根据索引获取值,要注意这里是字符串(String)需要加引号

stockS.loc['Alibaba']

190.9

#向量运算：相加

s1=pd.Series([1,2,3,4],index=['allen','peter','jason','john'])

s2=pd.Series([5,6,7,8,9,10],index=['allen','peter','frank','jason','Lily','Cara'])

s3=s1+s2

s3

Cara NaN

Lily NaN

allen 6.0

frank NaN

jason 11.0

john NaN

peter 8.0

dtype: float64

#方法1：删除缺失值

s3.dropna()

allen 6.0

jason 11.0

peter 8.0

dtype: float64

#方法2：填充缺失值

s3=s1.add(s2,fill_value=0)

s3

Cara 10.0

Lily 9.0

allen 6.0

frank 7.0

jason 11.0

john 4.0

peter 8.0

dtype: float64

2. 二维数据结构(有行，有列)

Numpy二位数据结构-每一组数组里都需要统一类型

二维数据分析：Numpy

import numpy as np

#定义二维数组 array([]) 注意每个数组都用方括号，但是不能忽略整个公式的小括号和方括号

a=np.array([[1,2,3,4],

[5,6,7,8],

[9,10,11,12]])

#获取行号2，列号是3的元素a[2,3]

a[2,3]

12

#获取第一行

a[0,:]

array([1, 2, 3, 4])

#获取第一列

a[:,0]

array([1, 5, 9])

#计算整个数组的平均数

a.mean()

6.5

#计算每一行的平均数

a.mean(axis=1)

array([ 2.5, 6.5, 10.5])

#计算每一列的平均数

a.mean(axis=0)

array([5., 6., 7., 8.])

二维数据分析：Pandas 二维数组--数据框(DataFrame)

Numpy不能实现不同数据类型，Pandas可以用dataframe去仿造excel的数据，因为可以用于不同数据类型。=pd.dataframe()

import pandas as pd

#定义一个字典，映射列名与对应列的值

salesdict={

'购药时间':['2018-01-01 星期五','2018-01-02 星期六','2018-01-06 星期三'],

'社保卡号':['001616528','001616528','0012602828'],

'商品编码':[236701,236701,236701],

'商品名称':['强力VC银翘片','清热解毒口服液','感康'],

'销售数量':[6,1,2],

'应收金额':[82.8,28,16.8],

'实收金额':[69,24.64,15]

}

#因为本身字典是无序的，我们要导入有序字典

from collections import OrderedDict

#定义有序字典

salesorderdict=OrderedDict(salesdict)

#定义数据框，传入字典，列名 pd.DataFrame()

salesdf=pd.DataFrame(salesorderdict)

salesdf

购药时间 社保卡号 商品编码 商品名称 销售数量 应收金额 实收金额

0 2018-01-01 星期五 001616528 236701 强力VC银翘片 6 82.8 69.00

1 2018-01-02 星期六 001616528 236701 清热解毒口服液 1 28.0 24.64

2 2018-01-06 星期三 0012602828 236701 感康 2 16.8 15.00

#平均值：按照每一列来计算的

salesdf.mean()

商品编码 236701.000000

销售数量 3.000000

应收金额 42.533333

实收金额 36.213333

dtype: float64

'''用iloc来获取值-根据位置'''

#查询第2行，第3例的元素

salesdf.iloc[2,3]

'感康'

#查询第3行所有

salesdf.iloc[2,:]

购药时间 2018-01-06 星期三

社保卡号 0012602828

商品编码 236701

商品名称 感康

销售数量 2

应收金额 16.8

实收金额 15

Name: 2, dtype: object

##查询第2列所有

salesdf.iloc[:,1]

0 001616528

1 001616528

2 0012602828

Name: 社保卡号, dtype: object

'''用loc来获取值，根据索引'''

#查询第第二行，第五列的元素，应收金额

salesdf.loc[1,'应收金额']

28.0

#获取第一行

salesdf.loc[0,:]

购药时间 2018-01-01 星期五

社保卡号 001616528

商品编码 236701

商品名称 强力VC银翘片

销售数量 6

应收金额 82.8

实收金额 69

Name: 0, dtype: object

#获取第6列

salesdf.loc[:,'实收金额']

0 69.00

1 24.64

2 15.00

Name: 实收金额, dtype: float64

#简单方法

salesdf['实收金额']

0 69.00

1 24.64

2 15.00

Name: 实收金额, dtype: float64

#通过列表来选择某几列的数据

salesdf[['商品名称','商品编码']]

购药时间 社保卡号 商品编码 商品名称 销售数量 应收金额 实收金额

0 2018-01-01 星期五 001616528 236701 强力VC银翘片 6 82.8 69.0

2 2018-01-06 星期三 0012602828 236701 感康 2 16.8 15.0

数据框复杂查询：切片功能

#通过切片功能，获取指定范围的列,就是两个元素间所有的值用冒号：

salesdf.loc[:,'购药时间':'销售数量']

数据框复杂查询：条件判读

#第一步：构建查询条件

queryser=salesdf.loc[:,'销售数量']>1

type(queryser)

pandas.core.series.Series

queryser

0 True

1 False

2 True

Name: 销售数量, dtype: bool

#应用筛选出来的元素

salesdf.loc[queryser,:]

查看数据集统计描述-自己导入excel数据

#读取Excel数据--pandas 运用功能，大小写一定要注意

filenamestr='F:\跟猴子学习人工智能核心技术\数据分析(中级)(Python)\数据分析的基本过程\朝阳医院2018年销售数据.xlsx'

xls=pd.ExcelFile(filenamestr)

salesDf=xls.parse('Sheet1')

#打印出前4列，可以来确保数据正常运行

salesDf.head(4)

#有多少行，多少列

salesDf.shape

(6578, 7)

#参看某一列的数据类型

salesDf.loc[:,'社保卡号'].dtype

dtype('float64')

#参看每一列的统计数值

salesDf.describe()

社保卡号 商品编码 销售数量 应收金额 实收金额

count 6.576000e+03 6.577000e+03 6577.000000 6577.000000 6577.000000

mean 6.091254e+09 1.015869e+06 2.386194 50.473803 46.317510

std 4.889284e+09 5.131153e+05 2.375202 87.595925 80.976702

min 1.616528e+06 2.367010e+05 -10.000000 -374.000000 -374.000000

25% 1.014234e+08 8.614560e+05 1.000000 14.000000 12.320000

50% 1.001650e+10 8.615070e+05 2.000000 28.000000 26.600000

75% 1.004882e+10 8.690690e+05 2.000000 59.600000 53.000000

max 1.283612e+10 2.367012e+06 50.000000 2950.000000 2650.000000

接下来是药房数据的实际操作

1. 提出问题

从销售数据中分析出以下业务指标： 1)月均消费次数2)月均消费金额3)客单价4)消费趋势

#导入数据包

import pandas as pd

#读书Excel数据，统一先按照字符串读入，之后再转换

filenamestr='F:\跟猴子学习人工智能核心技术\数据分析(中级)(Python)\数据分析的基本过程\朝阳医院2018年销售数据.xlsx'

xls=pd.ExcelFile(filenamestr,dtype='object')

salesdf=xls.parse('Sheet1',dtype='object')

'''可以先查看数据基本信息'''

#打印出前5行，以确保数据正常运行

salesdf.head(5)

#查看多少行，多少列

salesdf.shape

(6578, 7)

#查看每一列的数据类型

salesdf.dtypes

购药时间 object

社保卡号 object

商品编码 object

商品名称 object

销售数量 object

应收金额 object

实收金额 object

dtype: object

2. 数据清洗

1.选择字集(对分析有用的)

#如果需要选择子集--这个案例不需要

subsalesdf=salesdf.loc[0:4,'购药时间':'销售数量']

subsalesdf

2.列名重命名

#用字典来定义旧列名和新列名对应关系

colNameDict={'购药时间':'销售时间'}

'''inplace=False，数据框本身不会变，而会创建一个改动后新的数据框，默认的inplace是Falseinplace=True，数据框本身会改动'''

salesdf.rename(columns=colNameDict,inplace=True)

salesdf.head()

3.缺失数据处理

python缺失值有3种：

1)Python内置的None值

2)在pandas中，将缺失值表示为NA，表示不可用not available。

3)对于数值数据，pandas使用浮点值NaN(Not a Number)表示缺失数据。

后面出来数据，如果遇到错误：说什么float错误，那就是有缺失值，需要处理掉

所以，缺失值有3种：None，NA，NaN

print('删除缺失值前大小',salesdf.shape)

删除缺失值前大小 (6578, 7)

#删除列(销售时间，社保卡号)中为空的行

#how='any' 在给定的任何一列中有缺失值就删除

salesdf=salesdf.dropna(subset=['销售时间','社保卡号'],how='any')

print('删除缺失值后大小',salesdf.shape)

删除缺失值后大小 (6575, 7)

4. 数据类型转换

#字符串转换为数值(浮点型)--\n 可以换行

salesdf['销售数量']=salesdf['销售数量'].astype('float')

salesdf['应收金额']=salesdf['应收金额'].astype('float')

salesdf['实收金额']=salesdf['实收金额'].astype('float')

print('转换后的数据类型:\n',salesdf.dtypes)

转换后的数据类型:

销售时间 object

社保卡号 object

商品编码 object

商品名称 object

销售数量 float64

应收金额 float64

实收金额 float64

dtype: object

字符串转换为日期数据类型

#测试：字符串分割--split 括号的引号里一定要加空格

testList='2018-06-19 星期二'.split(' ')

testList

['2018-06-19', '星期二']

#查询第一个值

testList[0]

'2018-06-19'

'''定义函数：分割销售日期，获取销售日期输入：timeColSer 销售时间这一列，是个Series数据类型输出：分割后的时间，返回也是个Series数据类型'''

def splitsaletime(timecolser):

timelist=[]

for value in timecolser:

#例如2018-01-01 星期五，分割后为：2018-01-01,只留日期

datestr=value.split(' ')[0]

timelist.append(datestr)

#将列表转行为一维数据Series类型

timeser=pd.Series(timelist)

return timeser

#获取‘销售时间’这一列

timeser=salesdf.loc[:,'销售时间']

#用函数对字符串进行分割，获取销售日期

dateSer=splitsaletime(timeser)

'''注意：如果运行后报错：AttributeError: 'float' object has no attribute 'split'是因为Excel中的空的cell读入pandas中是空值(NaN)，这个NaN是个浮点类型，一般当作空值处理。所以要先去除NaN在进行分隔字符串'''

"\n注意：\n如果运行后报错：AttributeError: 'float' object has no attribute 'split'\n是因为Excel中的空的cell读入pandas中是空值(NaN)，

这个NaN是个浮点类型，一般当作空值处理。\n所以要先去除NaN在进行分隔字符串\n"

那None和NaN有什么区别?

None是Python的一种数据类型，NaN是浮点类型 两个都用作空值

#None和NaN的区别

print('None的数据类型',type(None))

from numpy import NaN

print('NaN的数据类型',type(NaN))

None的数据类型

NaN的数据类型

dateSer[0:3]

0 2018-01-01

1 2018-01-02

2 2018-01-06

dtype: object

#获取后，修改销售时间这一列的值

salesdf.loc[:,'销售时间']=dateSer

salesdf.head()

'''如果原属数据不符合现在的日期格式，可以做一下操作'''

#errors='coerce' 如果原始数据不符合日期的格式，转换后的值为空值NaT

#format 是你原始数据中日期的格式

salesdf.loc[:,'销售时间']=pd.to_datetime(salesdf.loc[:,'销售时间'],

format='%Y-%m-%d',

errors='coerce')

salesdf.dtypes

销售时间 datetime64[ns]

社保卡号 object

商品编码 object

商品名称 object

销售数量 float64

应收金额 float64

实收金额 float64

dtype: object

'''转换日期过程中不符合日期格式的数值会被转换为空值，这里删除列(销售时间，社保卡号)中为空的行'''

salesdf=salesdf.dropna(subset=['销售时间','社保卡号'],how='any')

salesdf.head()

salesdf.shape

(6506, 7)

5.数据排序

'''by：按哪几列排序ascending=True 表示升序排列，ascending=False表示降序排列，na_position='first'表示排序的时候，把空值放到前列，这样可以比较清晰的看到哪些地方有空值'''

#按销售日期进行升序排列

salesdf=salesdf.sort_values(by='销售时间',

ascending=True,

na_position='first')

print('排序后的数据集')

salesdf.head()

排序后的数据集

#重命名行名(index)：排序后的列索引值是之前的行号，需要修改成从0到N按顺序的索引值

salesdf=salesdf.reset_index(drop=True)

salesdf.head()

6.异常值处理

#描述指标：查看出"销售数量"值不能小于0

salesdf.describe()

#从上看出最小值小于0，所以要筛选出大于0的

#步骤：

#1 查询条件

queryser=salesdf.loc[:,'销售数量']>0

#2 应用筛选的条件

print('删除异常值前：',salesdf.shape)

salesdf=salesdf.loc[queryser,:]

print('删除异常值后：',salesdf.shape)

删除异常值前： (6549, 7)

删除异常值后： (6506, 7)

3. 构建模型

业务指标：1.月均消费次数=总消费次数/月份数

'''总消费次数：同一天内，同一个人发生的所有消费算作一次消费#根据列名(销售时间，社区卡号)，如果这两个列值同时相同，只保留1条，将重复的数据删除'''

kpi1_df=salesdf.drop_duplicates(

subset=['销售时间','社保卡号']

)

#总消费次数：有多少行

totalI=kpi1_df.shape[0]

print('总消费次数=',totalI)

总消费次数= 5342

'''计算月份数：时间范围'''

#第1步：按销售时间升序排序

kpi1_df=kpi1_df.sort_values(by='销售时间',

ascending=True)

#重命名行名(index)

kpi1_df=kpi1_df.reset_index(drop=True)

kpi1_df.head()

#第2步：获取时间范围,最大时间值因为有0，所以要减1，不然会多一行

#最小时间值

starttime=kpi1_df.loc[0,'销售时间']

#最大时间值

endtime=kpi1_df.loc[totalI-1,'销售时间']

#第3步：计算月份数

#天数

daysI=(endtime-starttime).days

#月份数: 运算符“//”表示取整除

#返回商的整数部分，例如9//2 输出结果是4

monthI=daysI//30

print('月份数：',monthI)

月份数： 6

#业务指标1：月均消费次数=总消费次数 / 月份数

kpi1_I=totalI//monthI

print('业务指标1：月均消费次数=',kpi1_I)

业务指标1：月均消费次数= 890

指标2：月均消费金额 = 总消费金额 / 月份数

#总消费金额

totalmoneyf=salesdf.loc[:,'实收金额'].sum()

#月均消费金额

monthmoneyf=totalmoneyf/monthI

print('业务指标2：月均消费金额=',monthmoneyf)

业务指标2：月均消费金额= 50668.35166666666

指标3：客单价=总消费金额 / 总消费次数

客单价(per customer transaction)是指商场(超市)每一个顾客平均购买商品的金额，客单价也即是平均交易金额。

'''totalmoneyf：总消费金额totalI：总消费次数'''

pct=totalmoneyf/totalI

print('客单价',pct)

客单价 56.909417821040805

指标4：消费趋势，画图：折线图-会在之后更新

#在进行操作之前，先把数据复制到另一个数据框中，防止对之前清洗后的数据框造成影响

groupDf=salesdf

#第1步：重命名行名(index)为销售时间所在列的值

groupDf.index=groupDf['销售时间']

groupDf.head()

#第2步：分组

gb=groupDf.groupby(groupDf.index.month)

#第3步：应用函数，计算每个月的消费总额

mounthDf=gb.sum()

mounthDf