逻辑回归函数学习笔记

继续逻辑回归学习，今日笔记记录。

1、逻辑回归和线性回归的关系：对逻辑回归的概率比取自然对数，则得到的是一个线性函数，推导过程如下。

首先，看逻辑回归的定义

其次，计算两个极端y/(1-y)，其值为（负指数分之一，则负负得正）：

取自然对数后得到等式：

2、考虑具有N个独立变量的向量x,其表现形式为：

设条件慨率P(y=1|x)=p为根据观测量相对于某事件x发生的概率。
假设这个概率分布情况满足逻辑回归函数，则存在：

其中g(x)就是向量X与各个特征之间的关系：

3、结合逻辑回归的矩阵模型公式来看：

这个公式跟2部分的P(y=1|x)的公式是等价的，具体表现在Xθ这个矩阵乘法。

该公式中各部分的含义为：

3.1 θ为分类的模型系数，为N x 1的向量。
3.2 X是M x N的特征矩阵，表示M个样本，每个样本的特征矩阵为Xi=(x1,x2,…xn)，每个样本都有N个独立特征。
3.3 hθ(X)则是一个M x 1的矩阵，表示M个样本的分类结果。
3.4 Xθ，即矩阵乘法，其结果也就是上面说的g(x)的分解。

4、对一组样本X=M x N,则会产生M个分类，对不同的模型系数，计算得到的分类结果，所有分类最准确的模型系数θ就是我们要确认的模型参数。因为样本有N个特征，所以特征系数θ是N x 1的列矩阵。

5、分类为y，具有特征x的条件概率公式为：

这个公式本质上就是对两种分类的概率的一个统一归纳的公式，归纳过程为：

这个公式中将分类值y作为指数，指数要么是0，要么是1。由于之前看的一个教程里面得出这个公式时说是应用二项分布公式，导致我搜了很久资料也没找到这个公式跟二项分布有什么关系。本质也没有特别深奥的地方，更不是二项分布公式的应用。

只看一种资料不足以了解公式，而且搜到的公式可能写法不同，但是结合多方搜索结果，相互补充，竟然也能慢慢明白模型公式。还是一种感觉，恨不能在学数学的时候了解数学在计算机领域的应用啊，果真是少壮不努力老大徒伤悲呐……

参考链接：
1）https://www.cnblogs.com/pinard/p/6029432.html
2）https://blog.csdn.net/AMDS123/article/details/70243497
3）https://blog.csdn.net/lgb_love/article/details/80592147

逻辑回归函数学习笔记相关推荐

人工智能入门算法逻辑回归学习笔记
逻辑回归是一个非常经典的算法,其中也包含了非常多的细节,曾看到一句话:如果面试官问你熟悉哪个机器学习模型,可以说 SVM,但千万别说 LR,因为细节真的太多了. 秉持着精益求精的工匠精神不断对笔记进行 ...
线性回归、逻辑回归学习笔记
学习源代码 import numpy as np import matplotlib.pyplot as plt def true_fun(X): # 这是我们设定的真实函数,即ground trut ...
线性回归、逻辑回归-学习笔记整理
线性回归线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式. 只有一个自变量的情况称为单变量回归,多于一 ...
《使用Java理解程序逻辑》学习笔记
第一章 1.public 公共的 2.static 静态的 3.void 无返回值的 4.main 主方法 5.class ...
【逻辑回归学习笔记】
算法描述 1.逻辑回归要做的事就是寻找分界面实现二分类. 2.问题假设:对一堆三角形和正方形分类. 3.数据输入:已知正方形和三角形的坐标和标签. 4.算法过程: 知识储备 1.分类和回归 ①分类的目 ...
天池龙珠训练营逻辑回归学习笔记
1.知识点 "线性回归"试图学得一个线性模型以尽可能准确地预测实值输出标记.线性回归模型一般可简写为 y = w T x + b y = w^{T}x + b y=wTx+b更一般 ...
适合理工直男的钟平老师逻辑英语学习笔记
一切的一切都只是套路! --鲁迅核心公式: En: (状语1) 主(定语1) 谓(状语2) (宾)(定语2) (状语1) Ch: (状语1) (定语1)主 (状语2)谓 (定 ...
【数字逻辑】学习笔记第四章 Part2 常用组合逻辑电路与竞争、险象
文章目录一.常用组合逻辑电路 1. 译码器 (1) 二进制译码器 74LS138(3/8译码器) a. 一般符号和图形符号 b. 74LS138功能表 c. 两片 `74LS138` 构成 `4-1 ...
数字电路与逻辑设计学习笔记【进制转换】
0.1近代开关理论:Relay-contact Network Theory: 继电-触点网络理论. 0.2,脉冲信号与数字信号, 模拟量->模拟信号:正弦信号.脉冲信号->脉冲电路数字 ...

逻辑回归函数学习笔记

逻辑回归函数学习笔记相关推荐

最新文章

热门文章