机器学习——逻辑回归

一、逻辑回归
logistic回归又称logistic回归分析，常用于数据挖掘，疾病自动诊断，经济预测等领域。它是一种广义的线性回归分析模型，因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 wx+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w‘x+b作为因变量，即y =wx+b，而logistic回归则通过函数L将wx+b对应一个隐状态p，p =L(wx+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。

二、逻辑回归的作用——预测
概况的说：逻辑回归就是用现有的样本数据，设计一个模型，在将来用新的数据带入到模型里面，来预测一些我们需要的信息，例如：物体的分类、手写字体的识别等等，应用非常广泛。

三、基本原理
逻辑回归可以做二分类，也可以做多分类（逻辑回归做多分类，把多分类的问题，转化成多个二分类的问题，如果假如要分三个类别，就需要同时训练三个互相不影响的模型，比如我们n个维度，那么三分类，w参数的个数就会是(n+1)*3个参数。上面所谓的互不影响，指的是模型在梯度下降的时候，分别去训练，分别去下降，三个模型互相不需要传递数据，也不需要等待收敛）。

假如我们有一组样本数据X，样本每行代表一类，假如有多n类。我们可以根据一些模型参数W，与数据X进行处理（加减乘除、卷积、全链接等，可以自己定义），得到n个输出，可以使用激活函数（Sigmoid函数、RuLe函数、Tanh函数等）来处理这n个输出，我们把通过激活函数处理过的n个值设为arr_n[n,1]（当然，也可以不使用激活函数处理，直接使用原有的值）。然后把arr_n[n,1]带入的softMax函数中进行处理，再次得到n个值，这些值都是0~1之间的数（每个类的概率），n个数和为1（这个很重要），选择概率最大的那个类，作为当前样本的分类结果。

四、逻辑回归模型示意图（这里用一个简单的模型）
下图是一个简单的逻辑回归模型示意图（不是很规范，缺少偏置输入），它是一个二分类

1、首先这个模型有p个输入（代表每个样本有p个输入特征）。
2、b1有3个节点，这是一个全连接层，将有p个输入数据和3p个W权重分别相乘，然后再分别相加，最后我们将得到3个输出节点。
3、C里面是一个全连接层，具体里面做了什么，我也不知道（因为可能什么都不做，输出3个节点；也可能用了些激活函数，可做的操作太多了），反正最后输出了3个节点。
4、C之后又3个输出，又和一个2个节点的全连接层作用（相乘、相加），最后有2个输出节点。
5、对输出的2个节点数据，在A中进行softMax操作（一般分类问题，在最后都会加一个softMax操作），得到2个概率值
6、选择最大概率所在的类别作为最后的分类类别

五、激活函数：Sigmoid函数、RuLe函数、Tanh函数…
操作：把输出数据带入到这些函数中，得到输出之后，在输入到下一个输如里面
作用：点击链接（这里面很详细）
1、Sigmoid函数：
公式：

2、RuLe函数
公式：

3、Tanh函数
公式：

六、SoftMax层处理
这是很多分类模型都会用到的，目的是计算单个样本对应每个类别的概率。
**斜体样式它是怎么做的呢？？？？？？？
如下路所示：

如图：我们有三个输出节点（z1,z2,z3），然后计算:
z1’ = e^z1 z2’ = e^z2 z3’ = e^z3 z’=z1’+z2’+z3’
然后计算出每个类别的概率：
p1=z1’/z’ p2=z2’/z’ p3=z3’/z’
最终类别 = max(p1,p2,p3)

七、逻辑回归的损失函数——交叉熵
以上我们了解了整个逻辑回归的流程，那么我们要怎么计算，这些权重W，我们需要根据已有的数据生成一个带W参数函数式，来求解。就像做数学题一样，利用已知求未知。

在逻辑回归二分类问题中 y ={0,1}，设 y^为样本类别为 y=1的概率：
y^=P(y=1∣x)
那么样本类别为 y=0的概率：
1 - y^=P(y=0∣x)

！！！重点来了！！！从极大似然的角度来看，把上述两种情况整合到一起：

很多人不知道极大似然，很抽象。极大似然就是按照事物最大相似度去求解、写模型等等
y^^y 代表 y=1的概率出现的频率（y），那么这里出现频率要么是0，要么是1
(1-y^) ^(1-y) 代表 y=0的概率出现的频率（1-y），那么这里出现频率要么是0，要么是1
这样就可以求出当前的P(y|x)

由于取自然对数不改变概率的函数的单调性，因此最大化概率等价于最大化以下的函数：

我们希望**logP(y∣x)logP(y∣x)越大越好，反过来，只需要logP(y∣x)logP(y∣x)的负值−logP(y∣x)−logP(y∣x)越小就可以了。
那我们就引入损失函数，令loss=−logP(y∣x)loss=−logP(y∣x)**即可。
则得到损失函数为：

如果要计算所有样本的损失函数，把所有Loss叠加起来就可以了：

以上就是逻辑回归二分类的，交叉熵损失函数的推导！

机器学习——逻辑回归相关推荐

[转载] 吴恩达机器学习逻辑回归练习题：逻辑回归及规则化（python实现）
参考链接: 了解逻辑回归 Python实现练习题背景:网易云课堂->吴恩达机器学习课程->逻辑回归练习题对于练习题的详细内容,和课程中推荐的octave编程实现,请见:吴恩达机器学习逻 ...
机器学习逻辑回归算法应用案例
机器学习逻辑回归算法应用案例时间:2020.09.12 出处:https://www.kesci.com/home/project/5bfe39b3954d6e0010681cd1 注明:初学逻辑 ...
泰坦尼克（机器学习逻辑回归）
泰坦尼克(机器学习逻辑回归) 原文链接数据预处理 import pandas as pd train=pd.read_csv('C:/Users/Admin/Downloads/train.csv' ...
EduCoder 机器学习逻辑回归
逻辑回归是属于机器学习里面的监督学习,它是以回归的思想来解决分类问题的一种非常经典的二分类分类器.由于其训练后的参数有较强的可解释性,在诸多领域中,逻辑回归通常用作 baseline 模型,以方便后期 ...
机器学习算法平台alink_机器学习-逻辑回归算法
1-逻辑回归算法原理推导逻辑回归算法其实是一个分类算法,是非常经典,优秀的算法.一般我们不知道用哪个分类算法的时候,首先用逻辑回归算法试一试:它不仅可以实现二分类算法,还可以解决多分类问题逻辑回归 ...
机器学习-逻辑回归-信用卡检测任务
信用卡欺诈检测基于信用卡交易记录数据建立分类模型来预测哪些交易记录是异常的哪些是正常的. 任务流程: 加载数据,观察问题针对问题给出解决方案数据集切分评估方法对比逻辑回归模型建模结果分析 ...
Coursera 机器学习 -- 逻辑回归笔记【第二周】
Logistic Regression Model(逻辑回归模型) Cost Function 如下所示,本章讲述了如何拟合cost参数θ: hypothesis函数在图中复习一下,在图中我们的假设函 ...
机器学习 --- 逻辑回归
逻辑回归是属于机器学习里面的监督学习,它是以回归的思想来解决分类问题的一种非常经典的二分类分类器.由于其训练后的参数有较强的可解释性,在诸多领域中,逻辑回归通常用作 baseline 模型,以方便后期 ...
西电-机器学习-逻辑回归
逻辑回归本次作业的目的是建立一个逻辑回归模型,用于预测一个学生是否应该被大学录取. 简单起见,大学通过两次考试的成绩来确定一个学生是否应该录取.你有以前数届考生的成绩,可以做为训练集学习逻辑回归模型 ...

机器学习——逻辑回归

机器学习——逻辑回归

机器学习——逻辑回归相关推荐

最新文章

热门文章