Python数据分析实战01-商铺数据的清洗和存储（附资源文件）

【项目01】商铺数据加载及存储

文件可以在–我的资源列表下载，我设置的免费，后台给我加到1的

1.作业要求：

1、成功读取“商铺数据.csv”文件
2、解析数据，存成列表字典格式：[{‘var1’:value1,‘var2’:value2,‘var3’:values,…},…,{}]
3、数据清洗：
① comment，price两个字段清洗成数字
② 清除字段缺失的数据
③ commentlist拆分成三个字段，并且清洗成
4、结果存为.pkl文件

2.商铺数据情况

用excl打开

用记事本打开

完整代码为：

import os
os.chdir('D:/桌面/')
f = open('商铺数据.csv','r',encoding = 'utf8')#清洗comment数据
def fcm(s):if '条' in s:return(int(s.split(' ')[0]))else:return('缺失数据')#清洗price数据
def fpr(s):if '￥' in s:return(s.split('￥')[-1])else:return('缺失数据')#commentlist拆分成三个字段，并且清洗成数字,注意参量
def fcml(s):if len(s)==3:quality = float(s[0][3:])envi = float(s[1][3:])service = float(s[2][3:])return([quality,envi,service])else:print('缺失数据')
n=0
data = []
for line in f.readlines()[1:20]:str=line.split(',')classify = str[0]name = str[1]comment = fcm(str[2])star =str[3]price = fpr(str[4])address = str[5]quality = fcml(str[-1].split('                                '))[0]evi = fcml(str[-1].split('                                '))[1]service = fcml(str[-1].split('                                '))[2]n+=1if '缺失数据' not in []:data_lst = [['classify',classify],['name',name],['comment',comment],['star',star],['price',price],['address',address],['qualith',quality],['evi',evi],['service',service]]# data.append(dict(data_lst))data.append(dict(data_lst))print('%i条数据成功读取'%n)else:continue
f.close()import pickle
pic = open('C:/Users/Hjx/Desktop/data.pkl','wb')
pickle.dump(datalst,pic)
pic.close()
print('finished!')

3.代码实现

对整个作业的要求进行分析，结合所学内容，制定代码模块计划。
在数据清洗过程中需要构建三个函数，分别完成：清洗成数字和拆分片段。
对于csv文件，其特点为以‘，’分割，这就为数据单元的划分和取出提供了便利。划分的数据单元为列表。
对源csv文件，进行处理;

import os
f = open('D:/桌面/商铺数据.csv')
for i in f.readlines()[:10]:str = i.split(',')#此时，每一个数据为
美食 望蓉城老坛酸菜鱼(合生汇店) 我要点评 该商户暂无星级 人均                                        ￥125 翔殷路1099号合生汇5F 口味8.3                                环境8.4                                服务8.5

作业1 读取商铺数据

import os
f = open('D:/桌面/商铺数据.csv')
for i in f.readlines():print(i)

作业3 数据清洗-comment，price两个字段清洗成数字

首先观察comment数据情况，发现有效数据为整数，其他为无效数据。同时数据源中还存在空白数据。

def fcom(s):if '条' in s:str = s.split(' ')return(str[0])else:return('数据缺失')
清洗comment字段，用空格分段，选取结果list的第一个为点评数

def fpri(s):if '￥' in s:str = s.split('￥')[-1]return(str)else:return('数据缺失')
清洗price字段，用￥分段，选取结果list的最后一个为人均价格

作业3 数据清洗-commentlist拆分成三个字段，并且清洗成数字


def fcoml(s):if len(s)==3:quality = float(s[0][3:])envi = float(s[1][3:])service = float(s[2][3:])return([quality,envi,service])else:print('缺失数据')
#清洗commentlist字段，price字段用空格分段，分别清洗出质量、环境及服务数据