#导入数据分析包
import pandas as pd
import numpy as np

#导入csv数据
#dtype = str,最好读取的时候都以字符串的形式读入，不然可能会使数据失真
#比如一个0010008的编号可能会读取成10008fileNameStr = './Actual transactions from UK retailer.csv'
DataDF = pd.read_csv(fileNameStr,encoding = "ISO-8859-1",dtype = str) # encoding = "ISO-8859-1" -- 用什么解码，一般会默认系统的编码，如果是中文就用 "utf-8"
DataDF = pd.read_csv(fileNameStr,encoding = "utf-8",dtype = str) 

#1 从宏观一点的角度去看数据：查看dataframe的信息
DataDF.info()

#1.1查看每一列的数据类型
DataDF.dtypes#1.2有多少行，多少列
DataDF.shape

# 2.检查缺失数据
# 如果你要检查每列缺失数据的数量，使用下列代码是最快的方法。
# 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。DataDF.isnull().sum().sort_values(ascending=False)

# 3.是抽出一部分数据来，人工直观地理解数据的意义，尽可能地发现一些问题
DataDF.head()

# 查看这个商品名称的去重项
DataDF['Description'].unique()

# 设置输出全部的内容
# threshold就是设置超过了多少条，就会呈现省略
#（比如threshold=10的意思是超过10条就会省略）
np.set_printoptions(threshold=np.inf) 

#字符串转换为数值（整型）
DataDF['Quantity'] = DataDF['Quantity'].astype('int')
#字符串转换为数值（浮点型）
DataDF['UnitPrice'] = DataDF['UnitPrice'].astype('float')

#数据类型转换:字符串转换为日期
#errors='coerce' 如果原始数据不符合日期的格式，转换后的值为空值NaTDataDF.loc[:,'InvoiceDate']=pd.to_datetime(DataDF.loc[:,'InvoiceDate'],format='%d/%m/%Y', errors='coerce')#!!⚠️ format 是你［原始数据］中日期的格式%y 两位数的年份表示（00-99）
%Y 四位数的年份表示（000-9999）
%m 月份（01-12）
%d 月内中的一天（0-31）
%H 24小时制小时数（0-23）
%I 12小时制小时数（01-12）
%M 分钟数（00-59）
%S 秒（00-59）

#建立字典字典：旧列名和新列名对应关系
colNameDict = {'InvolceDate':'SaleDate','StockCode':'StockNo'}     #!! ⚠️一定要旧列名放在冒号前
#每组对应关系以［逗号］隔开salesDf.rename(columns = colNameDict,inplace=True)

#选择子集，选择其中一列
subDataDF1=DataDF["InvoiceDate"]

#选择子集，选择其中两列
subDataDF1=DataDF[["InvoiceDate","UnitPrice"]]

subDataDF1=DataDF.loc[:,"InvoiceDate"]
subDataDF1
#单一个冒号意味着不作限制的全选

subDataDF2=DataDF.loc[0:9,:]
subDataDF2

subDataDF3=DataDF.loc[1:9,"StockCode":"CustomerID"]
subDataDF3

DataDF.loc[:,'UnitPrice']>0

#删除异常值：通过条件判断筛选出数据
#查询条件
querySer=DataDF.loc[:,'Quantity']>0
#应用查询条件
print('删除异常值前：',DataDF.shape)
DataDF=DataDF.loc[querySer,:]
print('删除异常值后：',DataDF.shape)

DataDF['Description']= DataDF['Description'].str.upper()

str().
upper()
lower()
title()
lstrip()
strip()DataDF['Description']= DataDF['Description'].str.strip()

#定义函数：分割InvoiceDate，获取InvoiceDate
#输入：timeColSer InvoiceDate这一列，是个Series数据类型
#输出：分割后的时间，返回也是个Series数据类型def splitSaletime(timeColSer):timeList=[]for value in timeColSer:#例如2018/01/01 12:50，分割后为：2018-01-01dateStr=value.split(' ')[0]timeList.append(dateStr)
#将列表转行为一维数据Series类型timeSer=pd.Series(timeList)return timeSer

DataDF.loc[:,'InvoiceDate']=splitSaletime(DataDF.loc[:,'InvoiceDate'])

# 再一次提醒检查缺失数据DataDF.isnull().sum().sort_values(ascending=False)

# 默认（axis＝0）是逢空值剔除整行，设置关键字参数axis＝1表示逢空值去掉整列
# 'any'如果一行（或一列）里任何一个数据有任何出现Nan就去掉整行，‘all’一行（或列）每一个数据都是Nan才去掉这整行DataDF.dropna(how='any')
DataDF.dropna(how='all')# 更精细的thresh参数，它表示留下此行（或列）时，要求有多少［非缺失值］
DataDF.dropna(thresh = 6 )

DataDF.Country= DataDF.Country.fillna('Not Given')

DataDF.UnitPrice = DataDF.UnitPrice.fillna(DataDF.UnitPrice.mean())

print(DataDF)
print(DataDF.UnitPrice.fillna(method='ffill')) # 前向后填充
print(DataDF.UnitPrice.fillna(method='bfill')) # 后向前填充