（转载）—— Logistic Regression（逻辑回归）模型实现二分类和多分类

————————————————————————————————————————————
**

本文转载于https://blog.csdn.net/u011734144/article/details/79717470，如有侵权，请联系我删除！

**
————————————————————————————————————————————

一、逻辑回归

二、判定边界

当将训练集的样本以其各个特征为坐标轴在图中进行绘制时，通常可以找到某一个判定边界去将样本点进行分类。例如：

线性判定边界：

非线性判定边界：

三、二分类和sigmoid函数

sigmoid函数图像如下：

四、损失函数

1. 定义

2. 极大似然估计

上面是一种求损失函数的方式，我们也可以换一种方式来求损失函数，即极大似然估计。用极大似然估计来作为损失函数

3. 正则化

五、最小化损失函数

同样，上式中的a为学习率（下山步长）。将上式的偏导展开，可得：
非正则化的损失函数的偏导：

含正则化项的损失函数的偏导：

其中 λ 为正则化的强度。

同线性回归般，可以通过学习率a对特征系数向量中的元素不断进行迭代，直到元素值收敛到某一值即可，这时可以得到损失函数较小时的特征向量系数Θ。

六、从二分类过渡到多分类

在上面，我们主要使用逻辑回归解决二分类的问题，那对于多分类的问题，也可以用逻辑回归来解决？

1. one vs rest

由于概率函数 hΘ(X) 所表示的是样本标记为某一类型的概率，但可以将一对一（二分类）扩展为一对多（one vs rest）：

将类型class1看作正样本，其他类型全部看作负样本，然后我们就可以得到样本标记类型为该类型的概率p1；
然后再将另外类型class2看作正样本，其他类型全部看作负样本，同理得到p2；
以此循环，我们可以得到该待预测样本的标记类型分别为类型class i时的概率pi，最后我们取pi中最大的那个概率对应的样本标记类型作为我们的待预测样本类型。

2. softmax函数

使用softmax函数构造模型解决多分类问题。

softmax回归分类器需要学习的函数为：（这里下面的公式有问题，括号中的每一项应该都是以e为底的）

其中

可看作样本 X 的标签为第 j 个类别的概率，且有

与 logistic回归不同的是，softmax回归分类模型会有多个的输出，且输出个数与类别个数相等，输出为样本 X 为各个类别的概率，最后对样本进行预测的类型为概率最高的那个类别。

我们需要通过学习得到这里写图片描述和这里写图片描述，因此建立目标损失函数为：

上式的代价函数也称作：对数似然代价函数。

在二分类的情况下，对数似然代价函数可以转化为交叉熵代价函数。

继续展开：

通过梯度下降法最小化损失函数和链式偏导，使用这里写图片描述对这里写图片描述求偏导：

化简可得：

再次化简可有：

因此由梯度下降法进行迭代：

同理通过梯度下降法最小化损失函数也可以得到这里写图片描述的最优值。

同逻辑回归一样，可以给损失函数加上正则化项。

3. 选择的方案

当标签类别之间是互斥时，适合选择softmax回归分类器 ;当标签类别之间不完全互斥时，适合选择建立多个独立的logistic回归分类器。