神经网络与深度学习（四）线性分类
目录
3.1 基于Logistic回归的二分类任务
3.1.1 数据集构建
3.1.2 模型构建
3.1.3 损失函数
3.1.4 模型优化
3.1.4.1 梯度计算
3.1.4.2 参数更新
3.1.5 评价指标
3.1.6 完善Runner类
3.1.7 模型训练
3.1.8 模型评价
3.2 基于Softmax回归的多分类任务
3.2.1 数据集构建
3.2.2 模型构建
3.2.2.1 Softmax函数
3.2.2.2 Softmax回归算子
3.2.3 损失函数
3.2.4 模型优化
3.2.4.1 梯度计算
3.2.4.2 参数更新
3.2.5 模型训练
3.2.6 模型评价
3.3 实践：基于Softmax回归完成鸢尾花分类任务
3.3.1 数据处理
3.3.1.1 数据集介绍
3.3.1.2 数据清洗
3.3.1.3 数据读取
3.3.2 模型构建
3.3.4 模型评价
3.3.5 模型预测
3.4 小结
3.5 实验拓展
参考资料
3.1 基于Logistic回归的二分类任务
3.1.1 数据集构建
构建一个简单的分类任务，并构建训练集、验证集和测试集。
本任务的数据来自带噪音的两个弯月形状函数，每个弯月对一个类别。我们采集1000条样本，每个样本包含2个特征。
数据集的构建函数make_moons的代码实现如下：
import math
import torchdef make_moons(n_samples=1000, shuffle=True, noise=None):n_samples_out = n_samples // 2 # 这里是只去除完之后的整数部分。n_samples_in = n_samples - n_samples_out# 采集第一类数据，特征为（X，y）# 使用'torch.linspace'在0到pi上均匀取n_samples_out个值# 使用'torch.cos'计算上述取值的余弦值作为特征1，使用'torch.sin'计算上述取值的正弦值作为特征2outer_circ_x = torch.cos(torch.linspace(0, math.pi, n_samples_out))outer_circ_y = torch.sin(torch.linspace(0, math.pi, n_samples_out))inner_circ_x = 1 - torch.cos(torch.linspace(0, math.pi, n_samples_in))inner_circ_y = 0.5 - torch.sin(torch.linspace(0, math.pi, n_samples_in))print('outer_circ_x.shape:', outer_circ_x.shape, 'outer_circ_y.shape:', outer_circ_y.shape)print('outer_circ_x.shape:', inner_circ_x.shape, 'inner_circ_y.shape:', inner_circ_y.shape)# 使用'torch.cat'将两类数据的特征1和特征2分别延维度0拼接在一起，得到全部特征1和特征2# 使用'torch.stack'将两类特征延维度1堆叠在一起X = torch.stack([torch.cat([outer_circ_x, inner_circ_x]),torch.cat([outer_circ_y, inner_circ_y])],dim=1)print('after concat shape:', torch.cat([outer_circ_x, inner_circ_x]).shape)print('X shape:', X.shape)# 使用'torch. zeros'将第一类数据的标签全部设置为0# 使用'torch. ones'将第一类数据的标签全部设置为1y = torch.cat([torch.zeros(size=[n_samples_out]), torch.ones(size=[n_samples_in])])print('y shape:', y.shape)# 如果shuffle为True，将所有数据打乱if shuffle:# 使用'torch.randperm'生成一个数值在0到X.shape[0]，随机排列的一维Tensor做索引值，用于打乱数据idx = torch.randperm(X.shape[0])X = X[idx]y = y[idx]# 如果noise不为None，则给特征值加入噪声if noise is not None:# 使用'torch.normal'生成符合正态分布的随机Tensor作为噪声，并加到原始特征上X += torch.normal(mean=0.0, std=noise, size=X.shape)return X, y随机采样1000个样本，并进行可视化。
import matplotlib.pyplot as plt
# 采1000个样本
n_samples = 1000
X, y = make_moons(n_samples=n_samples, shuffle=True, noise=0.5)plt.figure(figsize=(5, 5))
plt.scatter(x=X[:, 0].tolist(), y=X[:, 1].tolist(), marker='*', c=y.tolist())
plt.xlim(-3, 4)
plt.ylim(-3, 4)
plt.savefig('linear-dataset-vis.pdf')
plt.show()运行结果：
将1000条样本数据拆分成训练集、验证集和测试集，其中训练集640条、验证集160条、测试集200条。
num_train = 640
num_dev = 160
num_test = 200
X_train, y_train = X[:num_train], y[:num_train]
X_dev, y_dev = X[num_train:num_train + num_dev], y[num_train:num_train + num_dev]
X_test, y_test = X[num_train + num_dev:], y[num_train + num_dev:]
y_train = y_train.reshape([-1, 1])
y_dev = y_dev.reshape([-1, 1])
y_test = y_test.reshape([-1, 1])
print("X_train shape: ", X_train.shape, "y_train shape: ", y_train.shape)
print(y_train[:5])运行结果：
3.1.2 模型构建
Logistic回归是一种常用的处理二分类问题的线性模型。与线性回归一样，Logistic回归也会将输入特征与权重做线性叠加。不同之处在于，Logistic回归引入了非线性函数，预测类别标签的后验概率 p(y=1|x) ，从而解决连续的线性函数不适合进行分类的问题。
其中判别函数σ(⋅)为Logistic函数，也称为激活函数，作用是将线性函数f(x;w,b)的输出从实数区间“挤压”到（0,1）之间，用来表示概率。Logistic函数定义为：
Logistic函数的代码实现如下：
def logistic(x):return 1 / (1 + torch.exp(-x))# 在[-10,10]的范围内生成一系列的输入值
x = torch.linspace(-10, 10, 10000)
plt.figure()
plt.plot(x.tolist(), logistic(x).tolist(), color="#e4007f", label="Logistic Function")
# 设置坐标轴
ax = plt.gca()
# 取消右侧和上侧坐标轴
ax.spines['top'].set_color('none')
ax.spines['right'].set_color('none')
# 设置默认的x轴和y轴方向
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')
# 设置坐标原点为(0,0)
ax.spines['left'].set_position(('data', 0))
ax.spines['bottom'].set_position(('data', 0))
# 添加图例
plt.legend()
plt.savefig('linear-logistic.pdf')
plt.show()运行结果：
从输出结果看，当输入在0附近时，Logistic函数近似为线性函数；而当输入值非常大或非常小时，函数会对输入进行抑制。输入越小，则越接近0；输入越大，则越接近1。正因为Logistic函数具有这样的性质，使得其输出可以直接看作为概率分布。
Logistic回归算子
Logistic回归模型其实就是线性层与Logistic函数的组合，通常会将 Logistic回归模型中的权重和偏置初始化为0，同时，为了提高预测样本的效率，我们将NN个样本归为一组进行成批地预测。
其中为N个样本的特征矩阵，
为N个样本的预测值构成的N维向量。
这里，我们构建一个Logistic回归算子，代码实现如下：
from nndl import op
class model_LR(op.Op):def __init__(self, input_dim):super(model_LR, self).__init__()self.params = {}# 将线性层的权重参数全部初始化为0self.params['w'] = torch.zeros(input_dim, 1)# 将线性层的偏置参数初始化为0self.params['b'] = torch.zeros(1)def __call__(self, inputs):return self.forward(inputs)def forward(self, inputs):# 线性计算score = torch.matmul(inputs, self.params['w']) + self.params['b']# Logistic 函数outputs = logistic(score)return outputs
随机生成3条长度为4的数据输入Logistic回归模型，观察输出结果。
# 固定随机种子，保持每次运行结果一致
torch.manual_seed(0)
# 随机生成3条长度为4的数据
inputs = torch.randn([3, 4])
print('Input is:\n', inputs)
# 实例化模型
model = model_LR(4)
outputs = model(inputs)
print('Output is:\n', outputs)运行结果：
从输出结果看，模型最终的输出g(⋅)恒为0.5。这是由于采用全0初始化后，不论输入值的大小为多少，Logistic函数的输入值恒为0，因此输出恒为0.5。
问题1：Logistic回归在不同的书籍中，有许多其他的称呼，具体有哪些？你认为哪个称呼最好？
对数几率回归、逻辑斯蒂回归。我认为对数几率回归这个称呼最好，能通过名字一目了然地知道其使用的大概方法内容。
问题2：什么是激活函数？为什么要用激活函数？常见激活函数有哪些？
一、什么是激活函数？
简单地说，激活函数就是加入到人工神经网络中的一个函数，目的在于帮助神经网络从数据中学习复杂模式。相比于人类大脑中基于神经元的模型，激活函数是决定向下一个神经元传递何种信息的单元，这也正是激活函数在人工神经网络中的作用。激活函数接收前一个单元输出的信号，并将其转换成某种可以被下一个单元接收的形式。
二、为什么要用激活函数？
在神经网络中使用非线性激活函数的原因有很多。
1. 除了前面讨论过的生物学方面的相似性外，激活函数还有助于我们根据要求将神经元的输出值限定在一定的范围内。这一点很重要，因为激活函数的输入是 W*x+b，其中 W 是单元的权重，x 是输入值，然后加上偏置 b。如果输出值不被限定在某个范围内，它可能会变得非常大，特别是在具有数百万个参数的深层神经网络中，从而导致计算量过大。例如，有一些激活函数对于不同的输入值（0 或 1）会输出特定的值。
2. 激活函数最重要的特点是它具有在神经网络中加入非线性的能力，为了使模型能够学习非线性模式（或者说具有更高的复杂度），特定的非线性层（激活函数）被加入其中。
三、常见激活函数有哪些？
现在常听到或者用到的激活函数有Relu、sigmoid、tanh等
3.1.3 损失函数
在模型训练过程中，需要使用损失函数来量化预测值和真实值之间的差异。
给定一个分类任务，y表示样本x的标签的真实概率分布，向量表示预测的标签概率分布。训练目标是使得
尽可能地接近y，通常可以使用交叉熵损失函数。
在给定y的情况下，如果预测的概率分布与标签真实的分布y越接近，则交叉熵越小；如果p(x)和y越远，交叉熵就越大。
对于二分类任务，我们只需要计算，用
来表示p(y=0|x)。
给定有N个训练样本的训练集，使用交叉熵损失函数，Logistic回归的风险函数计算方式为：
向量形式可以表示为：
其中为N个样本的真实标签构成的N维向量，
为N个样本标签为1的后验概率构成的N维向量。
二分类任务的交叉熵损失函数的代码实现如下：
# 实现交叉熵损失函数
class BinaryCrossEntropyLoss(op.Op):def __init__(self):self.predicts = Noneself.labels = Noneself.num = Nonedef __call__(self, predicts, labels):return self.forward(predicts, labels)def forward(self, predicts, labels):self.predicts = predictsself.labels = labelsself.num = self.predicts.shape[0]loss = -1. / self.num * (torch.matmul(self.labels.t(), torch.log(self.predicts)) + torch.matmul((1-self.labels.t()), torch.log(1-self.predicts)))loss = torch.squeeze(loss, dim=1)return loss# 测试一下
# 生成一组长度为3，值为1的标签数据
labels = torch.ones([3, 1])
# 计算风险函数
bce_loss = BinaryCrossEntropyLoss()
print(bce_loss(outputs, labels))运行结果：
3.1.4 模型优化
不同于线性回归中直接使用最小二乘法即可进行模型参数的求解，Logistic回归需要使用优化算法对模型参数进行有限次地迭代来获取更优的模型，从而尽可能地降低风险函数的值。
在机器学习任务中，最简单、常用的优化算法是梯度下降法。
使用梯度下降法进行模型优化，首先需要初始化参数W和 b，然后不断地计算它们的梯度，并沿梯度的反方向更新参数。
3.1.4.1 梯度计算
在Logistic回归中，风险函数R(w,b)关于参数w和b的偏导数为：
通常将偏导数的计算过程定义在Logistic回归算子的backward函数中，代码实现如下:
class model_LR(op.Op):def __init__(self, input_dim):super(model_LR, self).__init__()# 存放线性层参数self.params = {}# 将线性层的权重参数全部初始化为0self.params['w'] = torch.zeros([input_dim, 1])# self.params['w'] = paddle.normal(mean=0, std=0.01, shape=[input_dim, 1])# 将线性层的偏置参数初始化为0self.params['b'] = torch.zeros([1])# 存放参数的梯度self.grads = {}self.X = Noneself.outputs = Nonedef __call__(self, inputs):return self.forward(inputs)def forward(self, inputs):self.X = inputs# 线性计算score = torch.matmul(inputs, self.params['w']) + self.params['b']# Logistic 函数self.outputs = logistic(score)return self.outputsdef backward(self, labels):N = labels.shape[0]# 计算偏导数self.grads['w'] = -1 / N * torch.matmul(self.X.t(), (labels - self.outputs))self.grads['b'] = -1 / N * torch.sum(labels - self.outputs)3.1.4.2 参数更新
在计算参数的梯度之后，我们按照下面公式更新参数：
其中α为学习率。
将上面的参数更新过程包装为优化器，首先定义一个优化器基类Optimizer，方便后续所有的优化器调用。在这个基类中，需要初始化优化器的初始学习率init_lr，以及指定优化器需要优化的参数。代码实现如下：
from abc import abstractmethod
# 优化器基类
class Optimizer(object):def __init__(self, init_lr, model):# 初始化学习率，用于参数更新的计算self.init_lr = init_lr# 指定优化器需要优化的模型self.model = model@abstractmethoddef step(self):pass然后实现一个梯度下降法的优化器函数SimpleBatchGD来执行参数更新过程。其中step函数从模型的grads属性取出参数的梯度并更新。代码实现如下：
class SimpleBatchGD(Optimizer):def __init__(self, init_lr, model):super(SimpleBatchGD, self).__init__(init_lr=init_lr, model=model)def step(self):# 参数更新# 遍历所有参数，按照公式更新参数if isinstance(self.model.params, dict):for key in self.model.params.keys():self.model.params[key] = self.model.params[key] - self.init_lr * self.model.grads[key]3.1.5 评价指标
在分类任务中，通常使用准确率（Accuracy）作为评价指标。如果模型预测的类别与真实类别一致，则说明模型预测正确。准确率即正确预测的数量与总的预测数量的比值：
其中I(⋅)是指示函数。代码实现如下：
def accuracy(preds, labels):# 判断是二分类任务还是多分类任务，preds.shape[1]=1时为二分类任务，preds.shape[1]>1时为多分类任务if preds.shape[1] == 1:# 二分类时，判断每个概率值是否大于0.5，当大于0.5时，类别为1，否则类别为0preds = torch.as_tensor((preds >= 0.5),dtype=torch.float32)else:# 多分类时，使用'torch.argmax'计算最大元素索引作为类别preds = torch.argmax(preds, dim=1).int()return torch.mean((preds == labels).float())# 假设模型的预测值为[[0.],[1.],[1.],[0.]]，真实类别为[[1.],[1.],[0.],[0.]]，计算准确率
preds = torch.tensor([[0.], [1.], [1.], [0.]])
labels = torch.tensor([[1.], [1.], [0.], [0.]])
print("accuracy is:", accuracy(preds, labels))运行结果：
3.1.6 完善Runner类
基于RunnerV1，本章的RunnerV2类在训练过程中使用梯度下降法进行网络优化，模型训练过程中计算在训练集和验证集上的损失及评估指标并打印，训练过程中保存最优模型。代码实现如下：
# 用RunnerV2类封装整个训练过程
class RunnerV2(object):def __init__(self, model, optimizer, metric, loss_fn):self.model = modelself.optimizer = optimizerself.loss_fn = loss_fnself.metric = metric# 记录训练过程中的评价指标变化情况self.train_scores = []self.dev_scores = []# 记录训练过程中的损失函数变化情况self.train_loss = []self.dev_loss = []def train(self, train_set, dev_set, **kwargs):# 传入训练轮数，如果没有传入值则默认为0num_epochs = kwargs.get("num_epochs", 0)# 传入log打印频率，如果没有传入值则默认为100log_epochs = kwargs.get("log_epochs", 100)# 传入模型保存路径，如果没有传入值则默认为"best_model.pdparams"save_path = kwargs.get("save_path", "best_model.pdparams")# 梯度打印函数，如果没有传入则默认为"None"print_grads = kwargs.get("print_grads", None)# 记录全局最优指标best_score = 0# 进行num_epochs轮训练for epoch in range(num_epochs):X, y = train_set# 获取模型预测logits = self.model(X)# 计算交叉熵损失trn_loss = self.loss_fn(logits, y).item()self.train_loss.append(trn_loss)# 计算评价指标trn_score = self.metric(logits, y).item()self.train_scores.append(trn_score)# 计算参数梯度self.model.backward(y)if print_grads is not None:# 打印每一层的梯度print_grads(self.model)# 更新模型参数self.optimizer.step()dev_score, dev_loss = self.evaluate(dev_set)# 如果当前指标为最优指标，保存该模型if dev_score > best_score:self.save_model(save_path)print(f"best accuracy performence has been updated: {best_score:.5f} --> {dev_score:.5f}")best_score = dev_scoreif epoch % log_epochs == 0:print(f"[Train] epoch: {epoch}, loss: {trn_loss}, score: {trn_score}")print(f"[Dev] epoch: {epoch}, loss: {dev_loss}, score: {dev_score}")def evaluate(self, data_set):X, y = data_set# 计算模型输出logits = self.model(X)# 计算损失函数loss = self.loss_fn(logits, y).item()self.dev_loss.append(loss)# 计算评价指标score = self.metric(logits, y).item()self.dev_scores.append(score)return score, lossdef predict(self, X):return self.model(X)def save_model(self, save_path):torch.save(self.model.params, save_path)def load_model(self, model_path):self.model.params = torch.load(model_path)3.1.7 模型训练
Logistic回归模型的训练，使用交叉熵损失函数和梯度下降法进行优化。
使用训练集和验证集进行模型训练，共训练 500个epoch，每隔50个epoch打印出训练集上的指标。代码实现如下：
# 固定随机种子，保持每次运行结果一致
torch.manual_seed(102)
input_dim = 2 # 特征维度
lr = 0.1
# 实例化模型
model = model_LR(input_dim=input_dim)
# 指定优化器
optimizer = SimpleBatchGD(init_lr=lr, model=model)
# 指定损失函数
loss_fn = BinaryCrossEntropyLoss()
# 指定评价方式
metric = accuracy
# 实例化RunnerV2类，并传入训练配置
runner = RunnerV2(model, optimizer, metric, loss_fn)
runner.train([X_train, y_train], [X_dev, y_dev], num_epochs=500, log_epochs=50, save_path="best_model.pdparams")
运行结果：
可视化观察训练集与验证集的准确率和损失的变化情况。
# 可视化观察训练集与验证集的指标变化情况
def plot(runner,fig_name):plt.figure(figsize=(10,5))plt.subplot(1,2,1)epochs = [i for i in range(len(runner.train_scores))]# 绘制训练损失变化曲线plt.plot(epochs, runner.train_loss, color='#e4007f', label="Train loss")# 绘制评价损失变化曲线plt.plot(epochs, runner.dev_loss, color='#f19ec2', linestyle='--', label="Dev loss")# 绘制坐标轴和图例plt.ylabel("loss", fontsize='large')plt.xlabel("epoch", fontsize='large')plt.legend(loc='upper right', fontsize='x-large')plt.subplot(1,2,2)# 绘制训练准确率变化曲线plt.plot(epochs, runner.train_scores, color='#e4007f', label="Train accuracy")# 绘制评价准确率变化曲线plt.plot(epochs, runner.dev_scores, color='#f19ec2', linestyle='--', label="Dev accuracy")# 绘制坐标轴和图例plt.ylabel("score", fontsize='large')plt.xlabel("epoch", fontsize='large')plt.legend(loc='lower right', fontsize='x-large')plt.tight_layout()plt.savefig(fig_name)plt.show()plot(runner, fig_name='linear-acc.pdf')运行结果：
从输出结果可以看到，在训练集与验证集上，loss得到了收敛，同时准确率指标都达到了较高的水平，训练比较充分。
3.1.8 模型评价
使用测试集对训练完成后的最终模型进行评价，观察模型在测试集上的准确率和loss数据。
代码实现如下：
score, loss = runner.evaluate([X_test, y_test])
print("[Test] score/loss: {:.4f}/{:.4f}".format(score, loss))运行结果：
可视化观察拟合的决策边界 Xw+b=0。
def decision_boundary(w, b, x1):w1, w2 = wx2 = (- w1 * x1 - b) / w2return x2plt.figure(figsize=(5, 5))
# 绘制原始数据
plt.scatter(X[:, 0].tolist(), X[:, 1].tolist(), marker='*', c=y.tolist())w = model.params['w']
b = model.params['b']
x1 = torch.linspace(-2, 3, 1000)
x2 = decision_boundary(w, b, x1)
# 绘制决策边界
plt.plot(x1.tolist(), x2.tolist(), color="red")
plt.show()运行结果：
3.2 基于Softmax回归的多分类任务
Logistic回归可以有效地解决二分类问题。
但在分类任务中，还有一类多分类问题，即类别数C大于2 的分类问题。
Softmax回归就是Logistic回归在多分类问题上的推广。
3.2.1 数据集构建
数据来自3个不同的簇，每个簇对一个类别。我们采集1000条样本，每个样本包含2个特征。
数据集的构建函数make_multi的代码实现如下：
import torch
import numpy as npdef make_multiclass_classification(n_samples=100, n_features=2, n_classes=3, shuffle=True, noise=0.1):# 计算每个类别的样本数量n_samples_per_class = [int(n_samples / n_classes) for k in range(n_classes)]for i in range(n_samples - sum(n_samples_per_class)):n_samples_per_class[i % n_classes] += 1# 将特征和标签初始化为0X = torch.zeros([n_samples, n_features])y = torch.zeros([n_samples], dtype=torch.int32)# 随机生成3个簇中心作为类别中心centroids = torch.randperm(2 ** n_features)[:n_classes]centroids_bin = np.unpackbits(centroids.numpy().astype('uint8')).reshape((-1, 8))[:, -n_features:]centroids = torch.tensor(centroids_bin, dtype=torch.float32)# 控制簇中心的分离程度centroids = 1.5 * centroids - 1# 随机生成特征值X[:, :n_features] = torch.randn([n_samples, n_features])stop = 0# 将每个类的特征值控制在簇中心附近for k, centroid in enumerate(centroids):start, stop = stop, stop + n_samples_per_class[k]# 指定标签值y[start:stop] = k % n_classesX_k = X[start:stop, :n_features]# 控制每个类别特征值的分散程度A = 2 * torch.rand([n_features, n_features]) - 1X_k[...] = torch.matmul(X_k, A)X_k += centroidX[start:stop, :n_features] = X_k# 如果noise不为None，则给特征加入噪声if noise > 0.0:# 生成noise掩膜，用来指定给那些样本加入噪声noise_mask = torch.rand([n_samples]) < noisefor i in range(len(noise_mask)):if noise_mask[i]:# 给加噪声的样本随机赋标签值y[i] = torch.randint(n_classes, shape=[1]).astype('int32')# 如果shuffle为True，将所有数据打乱if shuffle:idx = torch.randperm(X.shape[0])X = X[idx]y = y[idx]return X, y随机采集1000个样本，并进行可视化。
# 固定随机种子，保持每次运行结果一致
torch.manual_seed(102)
# 采样1000个样本
n_samples = 1000
X, y = make_multiclass_classification(n_samples=n_samples, n_features=2, n_classes=3, noise=0.2)# 可视化生产的数据集，不同颜色代表不同类别
plt.figure(figsize=(5,5))
plt.scatter(x=X[:, 0].tolist(), y=X[:, 1].tolist(), marker='*', c=y.tolist())
plt.savefig('linear-dataset-vis2.pdf')
plt.show()运行结果：
将实验数据拆分成训练集、验证集和测试集。其中训练集640条、验证集160条、测试集200条。并打印前5个数据的标签。
num_train = 640
num_dev = 160
num_test = 200X_train, y_train = X[:num_train], y[:num_train]
X_dev, y_dev = X[num_train:num_train + num_dev], y[num_train:num_train + num_dev]
X_test, y_test = X[num_train + num_dev:], y[num_train + num_dev:]# 打印X_train和y_train的维度
print("X_train shape: ", X_train.shape, "y_train shape: ", y_train.shape)
# 打印前5个数据的标签
print(y_train[:5])运行结果：
这样，我们就完成了Multi1000数据集的构建。
3.2.2 模型构建
3.2.2.1 Softmax函数
Softmax函数可以将多个标量映射为一个概率分布。对于一个K维向量，，Softmax的计算公式为 :
在Softmax函数的计算过程中，要注意上溢出和下溢出的问题。假设Softmax 函数中所有的都是相同大小的数值a，理论上，所有的输出都应该为
。但需要考虑如下两种特殊情况：
- a为一个非常大的负数，此时exp(a) 会发生下溢出现象。计算机在进行数值计算时，当数值过小，会被四舍五入为0。此时，Softmax函数的分母会变为0，导致计算出现问题；
- a为一个非常大的正数，此时会导致exp(a)发生上溢出现象，导致计算出现问题。
为了解决上溢出和下溢出的问题，在计算Softmax函数时，可以使用−max(x)代替
。 此时，通过减去最大值，
最大为0，避免了上溢出的问题；同时，分母中至少会包含一个值为1的项，从而也避免了下溢出的问题。
Softmax函数的代码实现如下：
def softmax(X):x_max = torch.max(X, dim=1, keepdim=True)x_exp = torch.exp(X - x_max.values)partition = torch.sum(x_exp, dim=1, keepdim=True)return x_exp / partitionX = torch.tensor([[0.1, 0.2, 0.3, 0.4], [1, 2, 3, 4]])
predict = softmax(X)
print(predict)运行结果：
3.2.2.2 Softmax回归算子
在Softmax回归中，类别标签y∈{1,2,…,C}。给定一个样本x，使用Softmax回归预测的属于类别c的条件概率为 :
其中是第 c 类的权重向量，
是第 cc类的偏置。
Softmax回归模型其实就是线性函数与Softmax函数的组合。
将N个样本归为一组进行成批地预测。
其中为N个样本的特征矩阵，
为C个类的权重向量组成的矩阵，
为所有类别的预测条件概率组成的矩阵。
我们根据公式实现Softmax回归算子，代码实现如下：
from nndl import opclass model_SR(op.Op):def __init__(self, input_dim, output_dim):super(model_SR, self).__init__()self.params = {}# 将线性层的权重参数全部初始化为0self.params['W'] = torch.zeros([input_dim, output_dim])# self.params['W'] = paddle.normal(mean=0, std=0.01, shape=[input_dim, output_dim])# 将线性层的偏置参数初始化为0self.params['b'] = torch.zeros([output_dim])self.outputs = Nonedef __call__(self, inputs):return self.forward(inputs)def forward(self, inputs):# 线性计算score = torch.matmul(inputs, self.params['W']) + self.params['b']# Softmax 函数self.outputs = softmax(score)return self.outputs# 随机生成1条长度为4的数据
inputs = torch.randn([1, 4])
print('Input is:', inputs)
# 实例化模型，这里令输入长度为4，输出类别数为3
model = model_SR(input_dim=4, output_dim=3)
outputs = model(inputs)
print('Output is:', outputs)运行结果：
从输出结果可以看出，采用全0初始化后，属于每个类别的条件概率均为。这是因为，不论输入值的大小为多少，线性函数f(x;W,b)的输出值恒为0。此时，再经过Softmax函数的处理，每个类别的条件概率恒等。
思考题：Logistic函数是激活函数。Softmax函数是激活函数么？谈谈你的看法。
Softmax函数是激活函数，用于多分类过程中，它作用在输出层将多个神经元的输出，映射到（0，1）区间，可以看成概率来理解，从而来进行多分类。
3.2.3 损失函数
Softmax回归同样使用交叉熵损失作为损失函数，并使用梯度下降法对参数进行优化。通常使用C维的one-hot类型向量来表示多分类任务中的类别标签。对于类别c，其向量表示为：
其中I(⋅)是指示函数，即括号内的输入为“真”，I(⋅)=1；否则，I(⋅)=0。
给定有N个训练样本的训练集，令为样本x(n)在每个类别的后验概率。多分类问题的交叉熵损失函数定义为：
观察上式，在c为真实类别时为1，其余都为0。也就是说，交叉熵损失只关心正确类别的预测概率，因此，上式又可以优化为：
其中是第n个样本的标签。
因此，多类交叉熵损失函数的代码实现如下：
class MultiCrossEntropyLoss(op.Op):def __init__(self):self.predicts = Noneself.labels = Noneself.num = Nonedef __call__(self, predicts, labels):return self.forward(predicts, labels)def forward(self, predicts, labels):"""输入：- predicts：预测值，shape=[N, 1]，N为样本数量- labels：真实标签，shape=[N, 1]输出：- 损失值：shape=[1]"""self.predicts = predictsself.labels = labelsself.num = self.predicts.shape[0]loss = 0for i in range(0, self.num):index = self.labels[i]loss -= torch.log(self.predicts[i][index])return loss / self.num# 假设真实标签为第1类
labels = torch.tensor([0])
# 计算风险函数
mce_loss = MultiCrossEntropyLoss()
print(mce_loss(outputs, labels))运行结果：
3.2.4 模型优化
3.2.4.1 梯度计算
计算风险函数R(W,b)关于参数W和b的偏导数。在Softmax回归中，计算方法为：
其中为N个样本组成的矩阵，
为N个样本标签组成的向量，
为N个样本的预测标签组成的向量，1为N维的全1向量。
将上述计算方法定义在模型的backward函数中，代码实现如下：
class model_SR(op.Op):def __init__(self, input_dim, output_dim):super(model_SR, self).__init__()self.params = {}# 将线性层的权重参数全部初始化为0self.params['W'] = torch.zeros([input_dim, output_dim])# 将线性层的偏置参数初始化为0self.params['b'] = torch.zeros([output_dim])# 存放参数的梯度self.grads = {}self.X = Noneself.outputs = Noneself.output_dim = output_dimdef __call__(self, inputs):return self.forward(inputs)def forward(self, inputs):self.X = inputs# 线性计算score = torch.matmul(self.X, self.params['W']) + self.params['b']# Softmax 函数self.outputs = softmax(score)return self.outputsdef backward(self, labels):# 计算偏导数N =labels.shape[0]labels = torch.nn.functional.one_hot(labels, self.output_dim)self.grads['W'] = -1 / N * torch.matmul(self.X.t(), (labels-self.outputs))self.grads['b'] = -1 / N * torch.matmul(torch.ones([N]), (labels-self.outputs))3.2.4.2 参数更新
使用3.1.4.2中实现的梯度下降法进行参数更新
3.2.5 模型训练
实例化RunnerV2类，并传入训练配置。使用训练集和验证集进行模型训练，共训练500个epoch。每隔50个epoch打印训练集上的指标。
torch.manual_seed(102)
input_dim = 2 # 特征维度
output_dim = 3 # 类别数
lr = 0.1
# 实例化模型
model = model_SR(input_dim=input_dim, output_dim=output_dim)
# 指定优化器
optimizer = SimpleBatchGD(init_lr=lr, model=model)
# 指定损失函数
loss_fn = MultiCrossEntropyLoss()
# 指定评价方式
metric = accuracy
# 实例化RunnerV2类
runner = RunnerV2(model, optimizer, metric, loss_fn)
# 模型训练
runner.train([X_train, y_train], [X_dev, y_dev], num_epochs=500, log_eopchs=50, eval_epochs=1, save_path="best_model.pdparams")# 可视化观察训练集与验证集的准确率变化情况
plot(runner,fig_name='linear-acc2.pdf')运行结果：
3.2.6 模型评价
使用测试集对训练完成后的最终模型进行评价，观察模型在测试集上的准确率。
score, loss = runner.evaluate([X_test, y_test])
print("[Test] score/loss: {:.4f}/{:.4f}".format(score, loss))
运行结果：
可视化观察类别划分结果。
# 均匀生成40000个数据点
x1, x2 = torch.meshgrid(torch.linspace(-3.5, 2, 200), torch.linspace(-4.5, 3.5, 200), indexing='xy')
x = torch.stack([torch.flatten(x1), torch.flatten(x2)], dim=1)
# 预测对应类别
y = runner.predict(x)
y = torch.argmax(y, dim=1)
# 绘制类别区域
plt.ylabel('x2')
plt.xlabel('x1')
plt.scatter(x[:, 0].tolist(), x[:, 1].tolist(), c=y.tolist(), cmap=plt.cm.Spectral)torch.manual_seed(102)
n_samples = 1000
X, y = make_multiclass_classification(n_samples=n_samples, n_features=2, n_classes=3, noise=0.2)
plt.scatter(X[:, 0].tolist(), X[:, 1].tolist(), marker='*', c=y.tolist())
plt.show()运行结果：
（注：提前停止是在使用梯度下降法进行模型优化时常用的正则化方法。对于某些拟合能力非常强的机器学习算法，当训练轮数较多时，容易发生过拟合现象。为了解决这一问题，通常会在模型优化时，使用验证集上的错误代替期望错误。当验证集上的错误率不在下降时，就停止迭代。）
3.3 实践：基于Softmax回归完成鸢尾花分类任务
步骤：数据处理、模型构建、损失函数定义、优化器构建、模型训练、模型评价和模型预测等，
- 数据处理：根据网络接收的数据格式，完成相应的预处理操作，保证模型正常读取；
- 模型构建：定义Softmax回归模型类；
- 训练配置：训练相关的一些配置，如：优化算法、评价指标等；
- 组装Runner类：Runner用于管理模型训练和测试过程；
- 模型训练和测试：利用Runner进行模型训练、评价和测试。
主要配置：
- 数据：Iris数据集；
- 模型：Softmax回归模型；
- 损失函数：交叉熵损失；
- 优化器：梯度下降法；
- 评价指标：准确率。
3.3.1 数据处理
3.3.1.1 数据集介绍
Iris数据集，也称为鸢尾花数据集，包含了3种鸢尾花类别（Setosa、Versicolour、Virginica），每种类别有50个样本，共计150个样本。其中每个样本中包含了4个属性：花萼长度、花萼宽度、花瓣长度以及花瓣宽度，本实验通过鸢尾花这4个属性来判断该样本的类别。
鸢尾花属性类别对应预览：
| Id | SepalLength | SepalWidth | PetalLength | PetalWidth | Species |
| 1 | 5.1 | 3.5 | 1.4 | 0.2 | Iris-setosa |
| 2 | 4.9 | 3.0 | 1.4 | 0.2 | Iris-setosa |
| 3 | 4.7 | 3.2 | 1.3 | 0.2 | Iris-setosa |
| 4 | 4.6 | 3.1 | 1.5 | 0.2 | Iris-setosa |
| ... | ... | ... | ... | ... | ... |
3.3.1.2 数据清洗
- 缺失值分析:对数据集中的缺失值或异常值等情况进行分析和处理，保证数据可以被模型正常读取。代码实现如下：
import pandas
import numpy as np
from sklearn.datasets import load_irisiris_features = np.array(load_iris().data, dtype=np.float32)
iris_labels = np.array(load_iris().target, dtype=np.int32)
print(pandas.isna(iris_features).sum())
print(pandas.isna(iris_labels).sum())运行结果：
输出结果为0，由此可知鸢尾花数据集中不存在缺失值的情况。
- 异常值处理：通过箱线图直观的显示数据分布，并观测数据中的异常值。
import matplotlib.pyplot as pltdef boxplot(features):feature_names = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']plt.figure(figsize=(5, 5), dpi=200)plt.subplots_adjust(wspace=0.6)for i in range(4): # 每个特征画一个箱线图plt.subplot(2, 2, i+1)# 画箱线图plt.boxplot(features[:, i],showmeans=True,whiskerprops={"color": "#E20079", "linewidth": 0.4, 'linestyle': "--"},flierprops={"markersize": 0.4},meanprops={"markersize": 1})plt.title(feature_names[i], fontdict={"size": 5}, pad=2)# y方向刻度plt.yticks(fontsize=4, rotation=90)plt.tick_params(pad=0.5)# x方向刻度plt.xticks([])plt.savefig('ml-vis.pdf')plt.show()boxplot(iris_features)运行结果：
从输出结果看，数据中基本不存在异常值，不需要进行异常值处理。
3.3.1.3 数据读取
本实验中将数据集划分为了三个部分：
- 训练集：用于确定模型参数；
- 验证集：与训练集独立的样本集合，用于使用提前停止策略选择最优模型；
- 测试集：用于估计应用效果。
在本实验中，将80%的数据用于模型训练，10%的数据用于模型验证，10%的数据用于模型测试。代码实现如下：
import torch
# 加载数据集
def load_data(shuffle=True):# 加载原始数据X = np.array(load_iris().data, dtype=np.float32)y = np.array(load_iris().target, dtype=np.int32)X = torch.tensor(X)y = torch.tensor(y)# 数据归一化X_min = torch.min(X, dim=0)X_max = torch.max(X, dim=0)X = (X-X_min.values) / (X_max.values-X_min.values)# 如果shuffle为True，随机打乱数据if shuffle:idx = torch.randperm(X.shape[0])X = X[idx]y = y[idx]return X, ytorch.manual_seed(102)
num_train = 120
num_dev = 15
num_test = 15
X, y = load_data(shuffle=True)
print("X shape: ", X.shape, "y shape: ", y.shape)
X_train, y_train = X[:num_train], y[:num_train]
X_dev, y_dev = X[num_train:num_train + num_dev], y[num_train:num_train + num_dev]
X_test, y_test = X[num_train + num_dev:], y[num_train + num_dev:]
# 打印X_train和y_train的维度
print("X_train shape: ", X_train.shape, "y_train shape: ", y_train.shape)
# 打印前5个数据的标签
print(y_train[:5])运行结果：
3.3.2 模型构建
使用Softmax回归模型进行鸢尾花分类实验，将模型的输入维度定义为4，输出维度定义为3。代码实现如下：
import op, metric, opitimizer, RunnerV2# 学习率
lr = 0.2
# 梯度下降法
optimizer = opitimizer.SimpleBatchGD(init_lr=lr, model=model)
# 交叉熵损失
loss_fn = op.MultiCrossEntropyLoss()
# 准确率
metric2 = metric.accuracy
# 实例化RunnerV2
runner = RunnerV2.RunnerV2(model, optimizer, metric2, loss_fn)
# 启动训练
runner.train([X_train, y_train], [X_dev, y_dev], num_epochs=200, log_epochs=10, save_path="best_model.pdparams")
运行结果：
best accuracy performence has been updated: 0.00000 --> 0.46667
[Train] epoch: 0, loss: 1.09861159324646, score: 0.375
[Dev] epoch: 0, loss: 1.089357614517212, score: 0.46666666865348816
[Train] epoch: 10, loss: 0.9777260422706604, score: 0.699999988079071
[Dev] epoch: 10, loss: 1.023618221282959, score: 0.46666666865348816
[Train] epoch: 20, loss: 0.8894370794296265, score: 0.699999988079071
[Dev] epoch: 20, loss: 0.9739664793014526, score: 0.46666666865348816
[Train] epoch: 30, loss: 0.8196598887443542, score: 0.699999988079071
[Dev] epoch: 30, loss: 0.9317176938056946, score: 0.46666666865348816
[Train] epoch: 40, loss: 0.7635203003883362, score: 0.699999988079071
[Dev] epoch: 40, loss: 0.8957117199897766, score: 0.46666666865348816
[Train] epoch: 50, loss: 0.7176517248153687, score: 0.7250000238418579
[Dev] epoch: 50, loss: 0.8649960160255432, score: 0.46666666865348816
[Train] epoch: 60, loss: 0.679577648639679, score: 0.7416666746139526
[Dev] epoch: 60, loss: 0.8386644721031189, score: 0.46666666865348816
[Train] epoch: 70, loss: 0.6474865078926086, score: 0.7583333253860474
[Dev] epoch: 70, loss: 0.8159360289573669, score: 0.46666666865348816
[Train] epoch: 80, loss: 0.6200525760650635, score: 0.7666666507720947
[Dev] epoch: 80, loss: 0.7961668372154236, score: 0.46666666865348816
[Train] epoch: 90, loss: 0.5962967276573181, score: 0.7833333611488342
[Dev] epoch: 90, loss: 0.7788369655609131, score: 0.46666666865348816
[Train] epoch: 100, loss: 0.5754876732826233, score: 0.8166666626930237
[Dev] epoch: 100, loss: 0.7635290026664734, score: 0.46666666865348816
best accuracy performence has been updated: 0.46667 --> 0.53333
[Train] epoch: 110, loss: 0.5570722818374634, score: 0.824999988079071
[Dev] epoch: 110, loss: 0.7499087452888489, score: 0.5333333611488342
best accuracy performence has been updated: 0.53333 --> 0.60000
[Train] epoch: 120, loss: 0.5406263470649719, score: 0.824999988079071
[Dev] epoch: 120, loss: 0.7377070188522339, score: 0.6000000238418579
[Train] epoch: 130, loss: 0.525819718837738, score: 0.8500000238418579
[Dev] epoch: 130, loss: 0.726706862449646, score: 0.6000000238418579
[Train] epoch: 140, loss: 0.5123931169509888, score: 0.8583333492279053
[Dev] epoch: 140, loss: 0.7167317271232605, score: 0.6000000238418579
[Train] epoch: 150, loss: 0.5001395344734192, score: 0.875
[Dev] epoch: 150, loss: 0.7076371312141418, score: 0.6000000238418579
best accuracy performence has been updated: 0.60000 --> 0.66667
[Train] epoch: 160, loss: 0.48889240622520447, score: 0.875
[Dev] epoch: 160, loss: 0.6993042826652527, score: 0.6666666865348816
[Train] epoch: 170, loss: 0.4785163998603821, score: 0.875
[Dev] epoch: 170, loss: 0.6916342973709106, score: 0.6666666865348816
[Train] epoch: 180, loss: 0.46889930963516235, score: 0.875
[Dev] epoch: 180, loss: 0.6845448017120361, score: 0.6000000238418579
[Train] epoch: 190, loss: 0.45994898676872253, score: 0.875
[Dev] epoch: 190, loss: 0.6779664158821106, score: 0.6000000238418579
3.3.4 模型评价
使用测试数据对在训练过程中保存的最佳模型进行评价，观察模型在测试集上的准确率情况。代码实现如下：
# 加载最优模型
runner.load_model('best_model.pdparams')
# 模型评价
score, loss = runner.evaluate([X_test, y_test])
print("[Test] score/loss: {:.4f}/{:.4f}".format(score, loss))
运行结果：
3.3.5 模型预测
使用保存好的模型，对测试集中的数据进行模型预测，并取出1条数据观察模型效果。代码实现如下：
# 预测测试集数据
logits = runner.predict(X_test)
# 观察其中一条样本的预测结果
pred = torch.argmax(logits[0]).numpy()
print("pred:",pred)
# 获取该样本概率最大的类别
label = y_test[0].numpy()
print("label:",label)
# 输出真实类别与预测类别
print("The true category is {0} and the predicted category is {1}".format(label, pred))
运行结果：
3.4 小结
本节实现了Logistic回归和Softmax回归两种基本的线性分类模型。
3.5 实验拓展
习题1：尝试调整学习率和训练轮数等超参数，观察是否能够得到更高的精度；
调整学习率和训练轮数等超参数，可以得到更高的精度
参考资料
详解十种激活函数的优缺点-电子发烧友网
3.1. 线性回归 — 动手学深度学习 2.0.0-beta1 documentation
logistic回归的详细概述_asuro007的博客-CSDN博客_logistic回归描述
神经网络与深度学习（四）线性分类相关推荐
- 神经网络与深度学习（五）前馈神经网络（3）鸢尾花分类
目录 4.5实践:基于前馈神经网络完成鸢尾花分类 深入研究鸢尾花数据集 4.5.1 小批量梯度下降法 4.5.1.1 数据分组 4.5.2 数据处理 4.5.2.2 用DataLoader进行封装 4 ...
- 写给人类的机器学习 四、神经网络和深度学习
四.神经网络和深度学习 原文:Machine Learning for Humans, Part 4: Neural Networks & Deep Learning 作者:Vishal Ma ...
- 【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十四）（卷积神经网络））
[神经网络与深度学习-TensorFlow实践]-中国大学MOOC课程(十四)(卷积神经网络)) 14 卷积神经网络 14.1 深度学习基础 14.1.1 深度学习的基本思想 14.1.2 深度学习三 ...
- 【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（四）（Python语言基础（2））
[神经网络与深度学习-TensorFlow实践]-中国大学MOOC课程(四)(Python语言基础(2)) 第4讲 Python语言基础(2) 4.1 内置数据结构 4.1.1 序列数据结构(sequ ...
- 深度学习(四)-前馈神经网络
在前馈神经网络中,各神经元分别属于不同的层.每一层的神经元可以接收前一层神经元的信号,并产生信号输出到下一层.第 0 层叫输入层,最后一层叫输出层,其它中间层叫做隐藏层,相邻两层的神经元之间为全连 ...
- 吴恩达《神经网络与深度学习》精炼笔记（4）-- 浅层神经网络
上节课我们主要介绍了向量化.矩阵计算的方法和python编程的相关技巧.并以逻辑回归为例,将其算法流程包括梯度下降转换为向量化的形式,从而大大提高了程序运算速度.本节课我们将从浅层神经网络入手,开始真 ...
- Coursera吴恩达《神经网络与深度学习》课程笔记（3）-- 神经网络基础之Python与向量化
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了逻辑回归,以输出概率的形式来处理二分类问题.我们介绍了逻辑回归的Cost function表达式,并使用梯度下降算法来计算最小 ...
- 机器学习笔记——神经网络与深度学习
机器学习笔记--神经网络与深度学习 一.神经网络引言 二.神经元模型与激活函数 2.1 神经元模型 2.2 激活函数 2.2.1 sigmoid & tanh 2.2.2 ReLU激活函数 2 ...
- 《神经网络与深度学习》—学习笔记
[nndl.github.io] [神经网络与深度学习] [nndl-book] 深度学习基础 深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法. 深度学习问题是一个机器学习问题,指从 ...
- 神经网络和深度学习的简史
神经网络和深度学习的简史 神经网络如何从最早的人工智能时代发展到现在的故事. 神经网络和深度学习的简史 序幕--深度学习海啸 "深度学习的浪潮拍打着计算语言学的海岸已经好几年了,但2015年 ...
最新文章
- PHP5操作MySQL数据库
- AngularJS 1.x 国际化——Angular-translate例子
- PyQT4编程实例之小财务软件
- Win10_MySQL环境搭建以及Navicat的使用全解
- 《Netkiller Spring Cloud 手札》之 Master / Slave 主从数据库数据源配置
- java 0x3f_Java源码位操作技巧欣赏
- MySQL的source命令不加分号和delimiter的使用
- 使用Blink SQL+UDAF实现差值聚合计算
- slack 团队协作平台
- 人工智能和金融是天作之合的5个理由
- IDEA java 调用 webservice接口
- wav怎么转换成mp3？
- Ubuntu20.04 重装N卡驱动仍无法解决的问题的解决方法
- 获取注册表信息-HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Cryptography的MachineGuid的值
- Android 点击按钮切换图片
- 如何用matlab读出一个灰度图像各点灰度值大小？
- JS 三个值求最大值
- 计算变为人们梦寐以求的公用设施
- Java解析JSON出现双引号变成转义字符quot；解决办法
- kernel:mce: [Hardware Error]: TSC 0 ADDR 1938f0cc0 MISC 401a9a86 是什么意思