导入相关包

# !pip install seaborn pandas matplotlib numpy
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from IPython import display
display.set_matplotlib_formats('svg')
# Alternative to set svg for newer versions
# import matplotlib_inline
# matplotlib_inline.backend_inline.set_matplotlib_formats('svg')

numpy：python中做数据分析常用的包；
pandas：也是用于数据分析，擅长处理表，数据没那么大要放入内存中，这将是首选；
matplotlib.pyplot：源自matlab的画图工具；
seaborn：基于matplotlib，提供更多的画法
剩下两行用于将图片设成svg文件（画起来分辨率相对高一点）

读取数据

data = pd.read_csv('house_sales.zip')

csv文件存下来相对比较大，可以先压缩成一个zip或一个tar，主流的读取文件都可以从压缩文件中读取。建议存成压缩文件，在传输存储都会比较好，甚至还会比直接读取还要好（这个方法可用于文本）作者：爱喝水的崩奔 https://www.bilibili.com/read/cv13353927?spm_id_from=333.999.0.0 出处：bilibili

data.shape
data.head()#打印前五行

删缺失值

将列中30%缺失的列删去，以此来简化数据

null_sum = data.isnull().sum()
data.columns[null_sum < len(data) * 0.3]  # columns will keepdata.drop(columns=data.columns[null_sum > len(data) * 0.3], inplace=True)

检查type

data.dtypes

处理错误的数据类型


currency = ['Sold Price', 'Listed Price', 'Tax assessed value', 'Annual tax amount']
for c in currency:data[c] = data[c].replace(r'[$,-]', '', regex=True).replace(r'^\s*$', np.nan, regex=True).astype(float)

areas = ['Total interior livable area', 'Lot size']
for c in areas:acres = data[c].str.contains('Acres') == Truecol = data[c].replace(r'\b sqft\b|\b Acres\b|\b,\b','', regex=True).astype(float)col[acres] *= 43560data[c] = col

data.describe()#查看数据特征

#把不正常的取消掉

abnormal = (data[areas[1]] < 10) | (data[areas[1]] > 1e4)
data = data[~abnormal]
sum(abnormal)

卖价格分布情况，log10让分布均匀

ax = sns.histplot(np.log10(data['Sold Price']))
ax.set_xlim([3, 8])
ax.set_xticks(range(3, 9))
ax.set_xticklabels(['%.0e'%a for a in 10**ax.get_xticks()]);

查看房子的种类

data['Type'].value_counts()[0:20]

查看不同类型的价格

types = data['Type'].isin(['SingleFamily', 'Condo', 'MultiFamily', 'Townhouse'])
sns.displot(pd.DataFrame({'Sold Price':np.log10(data[types]['Sold Price']),'Type':data[types]['Type']}),x='Sold Price', hue='Type', kind='kde');

箱体图-一平米卖多少钱-表示不同分布情况

data['Price per living sqft'] = data['Sold Price'] / data['Total interior livable area']
ax = sns.boxplot(x='Type', y='Price per living sqft', data=data[types], fliersize=0)
ax.set_ylim([0, 2000]);

每个邮政编码的房价

d = data[data['Zip'].isin(data['Zip'].value_counts()[:20].keys())]
ax = sns.boxplot(x='Zip', y='Price per living sqft', data=d, fliersize=0)
ax.set_ylim([0, 2000])
ax.set_xticklabels(ax.get_xticklabels(), rotation=90);

每个特征之间的关系（协方差）

_, ax = plt.subplots(figsize=(6,6))
columns = ['Sold Price', 'Listed Price', 'Annual tax amount', 'Price per living sqft', 'Elementary School Score', 'High School Score']
sns.heatmap(data[columns].corr(),annot=True,cmap='RdYlGn', ax=ax);

李沐学AI之数据探索性分析相关推荐

【跟李沐学AI学习笔记】数据操作
本文的来源是B站跟李沐学AI的视频. 机器学习用的最多的数据结构是N维数组.最简单的N维数组是一个0-d的标量,比如1.0,它可能表示一个物体的类别.1-d的数组称为向量,比如说[1.0, 2.7, ...
【深度学习】ResNet残差网络 ResidualBlock残差块实现(pytorch) | 跟着李沐学AI笔记 | ResNet18进行猫狗分类
文章目录前言一.卷积的相关计算公式(复习) 二.残差块ResidualBlock复现(pytorch) 三.残差网络ResNet18复现(pytorch) 四.直接调用方法五.具体实践(ResN ...
过拟合欠拟合模拟 || 深度学习 || Pytorch || 动手学深度学习11 || 跟李沐学AI
昔我往矣,杨柳依依.今我来思,雨雪霏霏. ---<采薇> 本文是对于跟李沐学AI--动手学深度学习第11节:模型选择 + 过拟合和欠拟合的代码实现.主要是通过使用线性回归模型在自己生成的数 ...
动手学深度学习在线课程-跟着李沐学AI
动手学深度学习在线课程-跟着李沐学AI http://courses.d2l.ai/zh-v2/ 李宏毅<机器学习>中文课程(2022) https://hub.baai.ac.cn/vi ...
深度学习笔记-[跟李沐学AI]-01引言
DIVE INTO DEEP LEARNING 参考笔记:http://zh-v2.d2l.ai/chapter_introduction/index.html 符号本书中使用的符号概述如下. 数字 ...
【深度学习】跟李沐学ai 线性回归从零开始的代码实现超详解
目录一.引言二.本文代码做了什么如何利用数据集训练三.代码实现与解析一.导包二.相应的函数实现 1 生成样本(数据集) 2 按批量读取数据集 3 定义模型损失函数算法 1 定义模型 2 ...
ViT论文逐段精读【论文精读】-跟李沐学AI
视频链接:ViT论文逐段精读[论文精读]_哔哩哔哩_bilibili ViT:过去一年,CV 最有影响力的工作推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位有足够多的预训练 ...
跟李沐学AI之注意力机制+transformer
注意力机制注意力提示注意力的可视化注意力汇聚平均汇聚非参数注意力汇聚带参数注意力汇聚注意力评分函数掩蔽softmax操作加性注意力缩放点积注意力 Bahdanau注意力多头注意力 ...
Transformer - Attention Is All You Need - 跟李沐学AI
目录摘要导言背景模型架构编码器解码器堆叠注意力层 Scaled Dot-Product Attentions Multi-Head Attention transformer 中的注意力机 ...

李沐学AI之数据探索性分析

导入相关包

读取数据

删缺失值

检查type

李沐学AI之数据探索性分析相关推荐

最新文章

热门文章