一、概述

1、逻辑回归（Logistic Regression）算法是分类算法，而不是回归算法

2、决策边界：可以是非线性的（高阶）

二、sigmoid函数

1、定义： g ( z ) = 1 1 + e − z g(z) = \frac{1}{1+e^{-z}} g(z)=1+e−z1

2、自变量：任意实数；值域：[0, 1]

3、作用：将任意输入映射到[0, 1]区间

三、预测函数

1、预测函数： h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_\theta (x)=g(\theta ^Tx)= \frac{1}{1+e^{ - {\theta ^ T}x}} hθ(x)=g(θTx)=1+e−θTx1

2、二分类任务

p ( y = 1 ∣ x ; θ ) = h θ ( x ) p(y=1|x;\theta)=h_\theta(x) p(y=1∣x;θ)=hθ(x)
p ( y = 0 ∣ x ; θ ) = 1 − h θ ( x ) p(y=0|x;\theta)=1-h_\theta(x) p(y=0∣x;θ)=1−hθ(x)

3、整合： p ( y ∣ x ; θ ) = ( h θ ( x ) ) y ( 1 − h θ ( x ) ) 1 − y p(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y} p(y∣x;θ)=(hθ(x))y(1−hθ(x))1−y

四、似然函数

1、似然函数：
L ( θ ) = ∏ i = 1 m p ( y ( i ) ∣ x ( i ) ; θ ) = ∏ i = 1 m ( h θ ( x i ) ) y i ( 1 − h θ ( x i ) ) 1 − y i \ L(\theta)=\prod\limits_{i = 1}^m p(y^{(i)}|x^{(i)};\theta) =\prod\limits_{i = 1}^m(h_\theta(x_i))^{y_i}(1-h_\theta(x_i))^{1-y_i} L(θ)=i=1∏mp(y(i)∣x(i);θ)=i=1∏m(hθ(xi))yi(1−hθ(xi))1−yi

2、对数似然：
l ( θ ) = ∑ i = 1 m [ y i l o g h θ ( x i ) + ( 1 − y i ) l o g ( 1 − h θ ( x i ) ) ] \ l(\theta)=\sum\limits_{i = 1}^m{[{y_i}logh_\theta(x_i)+(1-y_i)log(1-h_\theta(x_i))]} l(θ)=i=1∑m[yiloghθ(xi)+(1−yi)log(1−hθ(xi))]

3、此时的方向是梯度上升的方向，因此 J ( θ ) = − 1 m l ( θ ) J(\theta)=-\frac{1}{m}l(\theta) J(θ)=−m1l(θ)转换为梯度下降方向

五、参数更新

1、梯度方向：对 J ( θ ) J(\theta) J(θ)求偏导，得 1 m ∑ i = 1 m [ h θ ( x i ) − y i ] x i j \frac{1}{m}\sum\limits_{i = 1}^m[h_\theta(x_i)-y_i]{x_i}^j m1i=1∑m[hθ(xi)−yi]xij

2、参数更新：
θ j : = θ j − α 1 m ∑ i = 1 m [ h θ ( x i ) − y i ] x i j \ \theta_j:=\theta_j-\alpha\frac{1}{m}\sum\limits_{i = 1}^m[h_\theta(x_i)-y_i]{x_i}^j θj:=θj−αm1i=1∑m[hθ(xi)−yi]xij

六、总结

Logistic Regression就是将线性回归的预测值送入sigmoid函数，将预测值转换成概率，完成分类问题。

逻辑回归算法——经典的二分类算法相关推荐

Logistic Regression（逻辑回归）模型实现二分类和多分类
一.逻辑回归二.判定边界当将训练集的样本以其各个特征为坐标轴在图中进行绘制时,通常可以找到某一个判定边界去将样本点进行分类.例如: 线性判定边界: 非线性判定边界: 三.二分类和sigmoid ...
（转载）—— Logistic Regression（逻辑回归）模型实现二分类和多分类
-------------------------------------------- ** 本文转载于https://blog.csdn.net/u011734144/article/detail ...
逻辑回归的MATLAB实现(二分类问题)
数据输入:x(:,1:n)为特征集合,y(:,1)为训练集的分类集合(要用0和1进行分类,也就是说y中只能有0和1) 数据输出:Y=a0+a1*x1+a2*x2......+an*xn中的系数矩阵,和 ...
【机器学习】逻辑回归-基础认识与鸢尾花分类实操案例
文章目录前言一.基本理解二.数学原理三.简单二元分类算法实现四.实战案例总结前言本文将会对逻辑回归的基础理解,数学原理,简单算法实现,鸢尾花分类问题实操案例去学习我们的逻辑回归. 一. ...
深入解析GBDT二分类算法（附代码实现）
目录: GBDT分类算法简介 GBDT二分类算法 2.1 逻辑回归的对数损失函数 2.2 GBDT二分类原理 GBDT二分类算法实例手撕GBDT二分类算法 4.1 用Python3实现GBDT二分类 ...
深入理解GBDT二分类算法
我的个人微信公众号: Microstrong 微信公众号ID: MicrostrongAI 微信公众号介绍: Microstrong(小强)同学主要研究机器学习.深度学习.计算机视觉.智能对话系统相关 ...
Lesson 4.1-4.2 逻辑回归模型构建与多分类学习方法逻辑回归参数估计
Lesson 4.1 逻辑回归模型构建与多分类学习方法首先我们来讨论关于逻辑回归的基本原理,当然,在此过程中,我们也将进一步补充机器学习数学理论基础. 逻辑回归的基本原理,从整体上来划分可以分为两个 ...
逻辑回归二分类算法python_多分类逻辑回归 (Multinomial Logistic Regression)
前言分类从结果的数量上可以简单的划分为: 二分类(Binary Classification) 多分类(Multinomial Classification). 其中二分类是最常见且使用最多的分类场 ...
python 二分类的实例_深入理解GBDT二分类算法
我的个人微信公众号:Microstrong 微信公众号ID:MicrostrongAI 微信公众号介绍:Microstrong(小强)同学主要研究机器学习.深度学习.计算机视觉.智能对话系统相关内容, ...

逻辑回归算法——经典的二分类算法