python实现二手汽车价格预测（一）初始数据探索性分析

零基础入门数据挖掘的 EDA-数据探索性分析部分，带你来了解数据，熟悉数据，和数据做朋友。

一、EDA目标

EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠.
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。

二、内容介绍

2.1.载入各种数据科学以及可视化库:

数据科学库 pandas、numpy、scipy；
可视化库 matplotlib、seabon；
其他；

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

2.2.载入数据：

载入训练集和测试集；

Train_data=pd.read_csv('./used_car_train_20200313.csv ',sep=' ')
Test_data=pd.read_csv('./used_car_testB_20200421.csv',sep=' ')

简略观察数据(head()+shape)；

2.3.数据总览:

通过describe()来熟悉数据的相关统计量

Train_data.describe()
Test_data.describe()

通过info()来熟悉数据类型

Train_data.info()
Test_data.info()

通过info()可以看出除了notRepairedDamage 为object类型其他都为数字。

2.4.判断数据缺失和异常

查看每列的存在nan情况

Train_data.isnull().sum()
Test_data.isnull().sum()

缺失值的可视化

msno.matrix(Train_data.sample(250))
msno.bar(Train_data.sample(1000))
msno.matrix(Test_data.sample(250))
msno.bar(Test_data.sample(1000))

每次处理数据时，缺失值是必须要考虑的问题。但是手工查看每个变量的缺失值是非常麻烦的一件事情。
missingno提供了一个灵活且易于使用的缺失数据可视化和实用程序的小工具集，使您可以快速直观地总结数据集的完整性。

异常值检测

Train_data['notRepairedDamage'].value_counts()

可以看出来‘ - ’也为空缺值，因为很多模型对nan有直接的处理，这里我们先不做处理，先替换成nan。

Train_data['notRepairedDamage'].replace('-',np.nan,inplace=True)
Train_data['notRepairedDamage'].value_counts()

Test_data['notRepairedDamage'].value_counts()
Test_data ['notRepairedDamage'].replace('-',np.nan,inplace=True)

以下两个类别特征严重倾斜，一般不会对预测有什么帮助，故这边先删掉，当然你也可以继续挖掘，但是一般意义不大。


del Train_data['seller']
del Train_data['offerType']
del Test_data['seller']
del Test_data['offerType']

2.5.了解预测值的分布

总体分布概况（无界约翰逊分布等）

import scipy.stats as st
y=Train_data['price']
plt.figure(1)
plt.title('Johnson SU')
sns.distplot(y,kde=False,fit=st.johnsonsu)
plt.figure(2)
plt.title('Normal')
sns.distplot(y,kde=False,fit=st.norm)
plt.figure(3)
plt.title('Log Normal')
sns.distplot(y,kde=False,fit=st.lognorm)

价格不服从正态分布，所以在进行回归之前，它必须进行转换。虽然对数变换做得很好，但最佳拟合是无界约翰逊分布。

查看skewness and kurtosis

sns.displot(Train_data['price'])
print('Skewness:%f'%Train_data['price'].skew())
print('Kurtosis:%f'%Train_data['price'].kurt())

偏度：是描述数据分布形态的统计量，其描述的是某总体取值分布的对称性，简单来说就是数据的不对称程度。
偏度是三阶中心距计算出来的。
（1）Skewness = 0 ，分布形态与正态分布偏度相同。（2）Skewness > 0
，正偏差数值较大，为正偏或右偏。长尾巴拖在右边，数据右端有较多的极端值。（3）Skewness < 0
，负偏差数值较大，为负偏或左偏。长尾巴拖在左边，数据左端有较多的极端值。（4）数值的绝对值越大，表明数据分布越不对称，偏斜程度大。

| Skewness| 越大，分布形态偏移程度越大。

峰度：是描述某变量所有取值分布形态陡缓程度的统计量，简单来说就是数据分布顶的尖锐程度。
峰度是四阶标准矩计算出来的。
（1）Kurtosis=0 与正态分布的陡缓程度相同。
（2）Kurtosis>0 比正态分布的高峰更加陡峭——尖顶峰
（3）Kurtosis<0 比正态分布的高峰来得平台——平顶峰

3.查看预测值的具体频数

###查看预测值的具体
plt.hist(Train_data['price'],orientation='vertical',histtype='bar',color='red')
plt.show()

查看频数, 大于20000得值极少。

#log变换 z之后的分布较均匀，可以进行log变换进行预测，这也是预测问题常用的trick
plt.hist(np.log(Train_data['price']),orientation='vertical',histtype='bar',color='red')
plt.show()

2.6.特征分为类别特征和数字特征，并对类别特征查看unique分布

y_train=Train_data['price']
numeric_features = ['power', 'kilometer', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14']
categorical_features = ['name', 'model', 'brand', 'bodyType', 'fuelType', 'gearbox', 'notRepairedDamage', 'regionCode']

特征nunique分布

for cat_fea in categorical_features:print(cat_fea + "的特征分布如下：")print("{}特征有个{}不同的值".format(cat_fea, Train_data[cat_fea].nunique()))print(Train_data[cat_fea].value_counts())
for cat_fea in categorical_features:print(cat_fea + "的特征分布如下：")print("{}特征有个{}不同的值".format(cat_fea, Test_data[cat_fea].nunique()))print(Test_data[cat_fea].value_counts())

2.7.数字特征分析

相关性分析

numeric_features.append('price')
#相关性分析
price_numeric=Train_data[numeric_features]
correlation=price_numeric.corr()
print(correlation['price'].sort_values(ascending=False),'\n')
f,ax = plt.subplots(figsize=(7, 7))
plt.title('Correlation of Numeric Features with Price',y=1,size=16)
sns.heatmap(correlation,square = True, vmax=0.8)

2. 查看几个特征得偏度和峰值

for col in price_numeric:print('{:15}'.format(col),'Skewness:{:05.2f}'.format(Train_data[col].skew()),"       ",'Kurtosis:{:06.2f}'.format(Train_data[col].kurt()))

3. 每个数字特征得分布可视化

f=pd.melt(Train_data,value_vars=numeric_features)
g=sns.FacetGrid(f,col='variable',col_wrap=2,sharex=False,sharey=False)
g=g.map(sns.distplot,'value' )

数字特征相互之间的关系可视化

##数字特征相互之间得关系可视化
sns.set()
columns = ['price', 'v_12', 'v_8' , 'v_0', 'power', 'v_5',  'v_2', 'v_6', 'v_1', 'v_14']
sns.pairplot(Train_data[columns],size = 2 ,kind ='scatter',diag_kind='kde')
plt.show()

5. 多变量互相回归关系可视化

## 5) 多变量互相回归关系可视化
fig, ((ax1, ax2), (ax3, ax4), (ax5, ax6), (ax7, ax8), (ax9, ax10)) = plt.subplots(nrows=5, ncols=2, figsize=(24, 20))
# ['v_12', 'v_8' , 'v_0', 'power', 'v_5',  'v_2', 'v_6', 'v_1', 'v_14']
v_12_scatter_plot = pd.concat([Y_train,Train_data['v_12']],axis = 1)
sns.regplot(x='v_12',y = 'price', data = v_12_scatter_plot,scatter= True, fit_reg=True, ax=ax1)v_8_scatter_plot = pd.concat([Y_train,Train_data['v_8']],axis = 1)
sns.regplot(x='v_8',y = 'price',data = v_8_scatter_plot,scatter= True, fit_reg=True, ax=ax2)v_0_scatter_plot = pd.concat([Y_train,Train_data['v_0']],axis = 1)
sns.regplot(x='v_0',y = 'price',data = v_0_scatter_plot,scatter= True, fit_reg=True, ax=ax3)power_scatter_plot = pd.concat([Y_train,Train_data['power']],axis = 1)
sns.regplot(x='power',y = 'price',data = power_scatter_plot,scatter= True, fit_reg=True, ax=ax4)v_5_scatter_plot = pd.concat([Y_train,Train_data['v_5']],axis = 1)
sns.regplot(x='v_5',y = 'price',data = v_5_scatter_plot,scatter= True, fit_reg=True, ax=ax5)v_2_scatter_plot = pd.concat([Y_train,Train_data['v_2']],axis = 1)
sns.regplot(x='v_2',y = 'price',data = v_2_scatter_plot,scatter= True, fit_reg=True, ax=ax6)v_6_scatter_plot = pd.concat([Y_train,Train_data['v_6']],axis = 1)
sns.regplot(x='v_6',y = 'price',data = v_6_scatter_plot,scatter= True, fit_reg=True, ax=ax7)v_1_scatter_plot = pd.concat([Y_train,Train_data['v_1']],axis = 1)
sns.regplot(x='v_1',y = 'price',data = v_1_scatter_plot,scatter= True, fit_reg=True, ax=ax8)v_14_scatter_plot = pd.concat([Y_train,Train_data['v_14']],axis = 1)
sns.regplot(x='v_14',y = 'price',data = v_14_scatter_plot,scatter= True, fit_reg=True, ax=ax9)v_13_scatter_plot = pd.concat([Y_train,Train_data['v_13']],axis = 1)
sns.regplot(x='v_13',y = 'price',data = v_13_scatter_plot,scatter= True, fit_reg=True, ax=ax10)

2.8.类型特征分析

unique分布

for fea in categorical_features:print(Train_data[fea],'\t',Train_data[fea].nunique())

类别特征箱形图可视化

categorical_features = ['model','brand','bodyType','fuelType','gearbox','notRepairedDamage']
for c in categorical_features:Train_data[c] = Train_data[c].astype('category')if Train_data[c].isnull().any():Train_data[c] = Train_data[c].cat.add_categories(['MISSING'])Train_data[c] = Train_data[c].fillna('MISSING')def boxplot(x, y, **kwargs):sns.boxplot(x=x, y=y)x=plt.xticks(rotation=90)f = pd.melt(Train_data, id_vars=['price'], value_vars=categorical_features)
g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False, size=5)
g = g.map(boxplot, "value", "price")

类别特征的小提琴图可视化

## 3) 类别特征的小提琴图可视化
catg_list = categorical_features
target = 'price'
for catg in catg_list :sns.violinplot(x=catg, y=target, data=Train_data)plt.show()

类别特征的柱形图可视化类别

## 4) 类别特征的柱形图可视化
def bar_plot(x, y, **kwargs):sns.barplot(x=x, y=y)x=plt.xticks(rotation=90)f = pd.melt(Train_data, id_vars=['price'], value_vars=categorical_features)
g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False, size=5)
g = g.map(bar_plot, "value", "price")

特征的每个类别频数可视化(count_plot)

def count_plot(x,  **kwargs):sns.countplot(x=x)x=plt.xticks(rotation=90)f = pd.melt(Train_data,  value_vars=categorical_features)
g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False, size=5)
g = g.map(count_plot, "value")

2.9.用pandas_profiling生成数据报告

import pandas_profiling
pfr = pandas_profiling.ProfileReport(Train_data)
pfr.to_file("./example.html")

python实现二手汽车价格预测（一）初始数据探索性分析相关推荐

【数据挖掘竞赛】零基础入门数据挖掘-二手汽车价格预测
目录一.导入数据二.数据查看可视化缺失值占比绘制所有变量的柱形图,查看数据查看各特征与目标变量price的相关性三.数据处理处理异常值查看seller,offerType的取值查看特 ...
关于二手车交易预测的数据探索性分析
关于二手车交易预测的数据探索性分析我们为什么要进行数据分析呢?这是我摘自一个博客的一个答案,希望能给您帮助:探索性数据分析(Exploratory Data Analysis,简称EDA),摘抄网上 ...
竞赛入门-数据探索性分析(EDA)
竞赛入门-数据探索性分析总览数据科学库 Numpy Scipy Pandas 可视化库 matplotlib seaborn missingno库载入数据数据总揽数据检测缺失值检测异常值 ...
数据探索性分析_探索性数据分析
数据探索性分析 When we hear about Data science or Analytics , the first thing that comes to our mind is Mod ...
机器学习的第一个难点，是数据探索性分析
作者 | 陆春晖责编 | 寇雪芹头图 | 下载于视觉中国当我们在进行机器学习领域的学习和研究时,遇到的第一个难点就是数据探索性分析(Exploratory Data Analysis).虽然从各 ...
Kaggle泰坦尼克号数据机器学习实战：从缺失值处理、数据探索性分析、组合特征生成到多模型构建
Kaggle泰坦尼克号数据机器学习实战:从缺失值处理.数据探索性分析.组合特征生成到多模型构建泰坦尼克号的沉没是历史上最为人熟知的海难事件之一. 1912 年 4 月 15 日,在她的处女航中,泰坦 ...
#数据挖掘--第1章：EDA数据探索性分析
#数据挖掘--第1章:EDA数据探索性分析一.序言二.EDA的意义三.EDA的流程一.序言本系列博客面向初学者,只讲浅显易懂易操作的知识.包含:数据分析.特征工程.模型训练等通用流程.将 ...
数据探索性分析（EDA）常用方法大合集
EDA(Exploratory Data Analysis),全名为数据探索性分析,是通过了解数据集,了解变量间的相互关系以及变量与预测值之间的关系,从而帮助我们后期更好地进行特征工程和建立模型,是数 ...
天池二手车交易价格预测Task2-赛题理解与数据探索性分析（EDA）
一.赛题理解 1.1赛题概述赛题以预测二手车的交易价格为任务,该数据来自某交易平台的二手车交易记录,总数据量超过40w,包含31列变量信息,其中15列为匿名变量.为了保证比赛的公平性,将会从中抽取1 ...

python实现二手汽车价格预测（一）初始数据探索性分析

python实现二手汽车价格预测（一）初始数据探索性分析

一、EDA目标

二、内容介绍

python实现二手汽车价格预测（一）初始数据探索性分析相关推荐

最新文章

热门文章