课程来源：百度飞桨

飞桨AI Studio - 人工智能学习实训社区 (baidu.com)

目录

飞桨AI Studio - 人工智能学习实训社区 (baidu.com)

数据处理

1.读入数据

绝对地址、相对地址

读取数据

数据形状变换

数据集和训练集的划分

数据归一化

封装函数loaddata

数据处理

数据处理包含五个部分：数据导入、数据形状变换、数据集划分、数据归一化处理和封装load data函数。数据预处理后，才能被模型调用。

1.读入数据

绝对地址、相对地址

如果引用绝对地址需加  r'绝对地址'

path.append(r'E:\Downloads\绝对地址\demo') # 添加路径

相对地址

../ 表示当前文件所在的目录的上一级目录

./ 表示当前文件所在的目录(可以省略)

/ 表示当前站点的根目录(域名映射的硬盘目录)

读取数据

numpy.fromfile

numpy.fromfile(file, dtype=float, count=-1, sep='', offset=0)

从文本或二进制文件中的数据构造一个数组。

读取已知数据类型的二进制数据以及解析简单格式化的文本文件的一种高效方法。使用tofile方法写入的数据可以使用此函数读取。

参考：Python numpy.fromfile函数方法的使用-CJavaPy

数据形状变换

• numpy.arange(n).reshape(a, b)    依次生成n个自然数，并且以a行b列的数组形式显示
• mat (or array).reshape(c, -1)     必须是矩阵格式或者数组格式，才能使用 .reshape(c, -1) 函数， 表示将此矩阵或者数组重组，以 c行d列的形式表示
• numpy.arange(a,b,c).reshape(m,n)  ：将array的维度变为m 行 n列。

参考：Python的reshape的用法：reshape(1,-1)_wamg潇潇的博客-CSDN博客_python reshape

数据集和训练集的划分

注意划分比例，一般为7/3或 8/2为训练集/测试集

数据归一化

1.训练集和测试集都需要做统一的归一化操作

2.对测试集进行归一化操作时，所用最大、最小、平均值均为训练集上的数据

封装函数loaddata

注意封装后返回值

附完整数据处理代码：

# 数据处理部分，共有五个步骤
# 1.读入数据
# 导入需要用到的package
import numpy as np
import json
# 读入训练数据
datafile = 'D:\PycharmProjects\pytorch学习\波士顿房价预测\housing.data'
data = np.fromfile(datafile, sep=' ')
# print(data)  # [6.320e-03 1.800e+01 2.310e+00 ... 3.969e+02 7.880e+00 1.190e+01]，共506*14条数据为一行# 2.数据形状变换
# 读入之后的数据被转化成1维array，其中array的第0-13项是第一条数据，第14-27项是第二条数据，以此类推....
# 这里对原始数据做reshape，变成N x 14的形式
feature_names = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE' , 'DIS' , 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ]
feature_num = len(feature_names)
# print(feature_num)  # feature_num=14
data = data.reshape([data.shape[0] // feature_num, feature_num])
# print(data.shape)  # (506, 14)
# print(data[0])  # 对应数据集第一行14个数据# 3.数据集划分
ratio = 0.8  # 所有数据中作为训练集的比例
offset = int(data.shape[0] * ratio)
training_data = data[:offset]  # 切片操作，从第0个到offset-1个
# print(training_data.shape)  # (404, 14)# 4.数据归一化处理
# 计算train数据集的最大值，最小值，平均值
maximums, minimums, avgs = training_data.max(axis=0), training_data.min(axis=0), training_data.sum(axis=0) / training_data.shape[0]
# print(maximums,minimums,avgs) 得到每一列的最大值、最小值、平均值
# 对数据进行归一化处理
for i in range(feature_num):#print(maximums[i], minimums[i], avgs[i])data[:, i] = (data[:, i] - minimums[i]) / (maximums[i] - minimums[i])  # 所有的值都在0-1之间了# 5.封装成load data函数
# 封装成函数的目的是方便以后的模型调用
def load_data():# 从文件导入数据datafile = 'D:\PycharmProjects\pytorch学习\波士顿房价预测\housing.data'data = np.fromfile(datafile, sep=' ')# 每条数据包括14项，其中前面13项是影响因素，第14项是相应的房屋价格中位数feature_names = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', \'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ]feature_num = len(feature_names)# 将原始数据进行Reshape，变成[N, 14]这样的形状data = data.reshape([data.shape[0] // feature_num, feature_num])# 将原数据集拆分成训练集和测试集# 这里使用80%的数据做训练，20%的数据做测试# 测试集和训练集必须是没有交集的ratio = 0.8offset = int(data.shape[0] * ratio)training_data = data[:offset]# 计算训练集的最大值，最小值，平均值maximums, minimums, avgs = training_data.max(axis=0), training_data.min(axis=0), \training_data.sum(axis=0) / training_data.shape[0]# 对数据进行归一化处理for i in range(feature_num):#print(maximums[i], minimums[i], avgs[i])data[:, i] = (data[:, i] - minimums[i]) / (maximums[i] - minimums[i])# 训练集和测试集的划分比例training_data = data[:offset]test_data = data[offset:]return training_data, test_data# 获取数据
training_data, test_data = load_data()
x = training_data[:, :-1]  # 去掉最后一列数据，每组数据变成13个
y = training_data[:, -1:]  # 最后一列数据