1. Logistic Regression基本模型

Logistic Regression 模型是广义线性模型中的一种，属于线性分类模型。对于类似上图的分类问题，需要找到一条直线，将两个不同的类区分开。多维情况下，可以利用如下线性函数描述该超平面。

W为权重，b为偏置。多维情况下，两者都是向量。实际应用中，通过对训练样本的学习确定该超平面。其中，我们可以使用阈值函数将样本映射到正负两个类别中。其中，sigmoid函数是最常应用的阈值函数，其函数表达式和导数如下所示。

在实际应用中，假设W,b已经利用训练样本得到有效的估计。新样本的类别判别y=0or1如下：

2. 损失函数设计

Logistic Regression分类是典型的监督学习算法。所以，我们常用利用优化算法拟合训练集对参数进行求解。最常用到的优化算法就是梯度下降算法。为了使用优化算法，我们首先应该定义模型的损失函数。

对于LR算法，其属于类别y的概率计算如下：

假设训练集有m个训练样本，我们可以采用最大似然法对参数W,b估计。假设

则训练样本集的似然函数为：

如果训练样本的数量非常庞大，优化连乘很容易造成损失值超过/低于机器精度。因此，通常我们使用“负对数似然函数（Negative Log-Likelihood，NLL）”作为优化的损失函数。那么，函数损失的优化过程就是求NLL的最小值。

3. 梯度下降算法训练LR模型

梯度下降法的优点在于：求解过程中，只需要求解损失函数的一阶导数，计算成本小。梯度下降法的直观理解：通过当前点的梯度方向寻找到新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点（注意梯度下降法通常获得的是局部极小值，改进的随机梯度下降算法获得全局极小值得概率更大）。Gradient Decent算法流程如下:

利用GD训练LR算法的关键在于求参数W,b的梯度方向。我们首先将原始的线性超平面改写成如下形式：

那么，根据GD算法的更新公式， Wj更新公式为：

因此利用上式就可以完成对LR模型的训练。

注意1：关于梯度下降算法中的步长选择问题可以参考一些文献，关键一点，大的步长容易在极值附近出现震荡，小的步长收敛太慢。目前，自适应步长收敛策略还是很不错的

注意2：关于模型过拟合的问题，后面会讨论正则化约束，这里先不涉及

[原理篇] 逻辑回归相关推荐

逻辑回归原理及推导过程
这篇文章将详细地讲解逻辑回归的推导过程. 原理: 逻辑回归处理的是分类问题,具体来说,是处理二分类问题.为了实现逻辑回归分类器,我们可以在线性回归的基础上(即每个特征乘以一个回归系数后相加),添加一个 ...
sklearn的逻辑回归
官方逻辑回归链接 sklearn.linear_model.LogisticRegression - scikit-learn 1.0.2 documentationhttps://scikit-le ...
【机器学习之逻辑回归】sklearn+python逻辑回归详解
文章目录一.逻辑回归二.算法原理介绍三.代码实现 3.1 sklearn-API介绍 3.2 sklearn-代码实现 3.3 python手写代码实现四.总结五.算法系列一.逻辑回归逻 ...
AI上推荐之逻辑回归模型与GBDT+LR(特征工程模型化的开端)
1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战: 信息消费者:如何从大量的信息中找到自己感兴趣的信息? 信息生产 ...
【机器学习】逻辑回归优化技巧总结（全）
逻辑回归由于其简单高效.易于解释,是工业应用最为广泛的模型之一,比如用于金融风控领域的评分卡.互联网的推荐系统.上文总结了逻辑回归的原理及其实现[全面解析并实现逻辑回归(Python)]. 本文从实际 ...
【机器学习】逻辑回归小结
之前对于LR的介绍已经不少了,有从LR的极大似然概率模型开始推导的,从极大似然开始推导可以得到我们常用的损失函数形式,接下来就可以利用梯度下降方法.也从最大熵模型推导了满足二项分布的LR模型Hypot ...
机器学习算法平台alink_机器学习-逻辑回归算法
1-逻辑回归算法原理推导逻辑回归算法其实是一个分类算法,是非常经典,优秀的算法.一般我们不知道用哪个分类算法的时候,首先用逻辑回归算法试一试:它不仅可以实现二分类算法,还可以解决多分类问题逻辑回归 ...
机器学习理论与实战：逻辑回归
转载自:http://blog.csdn.net/marvin521/article/details/9263483 从这节算是开始进入"正规"的机器学习了吧,之所以"正 ...
2 机器学习入门——逻辑回归之kaggle泰坦尼克号竞赛
前面几篇逻辑回归的例子有些是人造出来的,有些是比较正规的,但数据都比较完整,没有缺失的属性.虽然我们在很多数据上取到的非常好的效果,但总感觉好像不够味,不像实战. 所有的数据下载地址:https:// ...

[原理篇] 逻辑回归

1. Logistic Regression基本模型

2. 损失函数设计

3. 梯度下降算法训练LR模型

[原理篇] 逻辑回归相关推荐

最新文章

热门文章