logistic regression problem
- Y是概率的情况
- 相同数据不同目标函数
- logis假设集
logistic regression error
- error already stydied
- likelihood
- 优化化简
gradient for lr error
- Ein的性质
- Ein梯度的计算
- Ein梯度等于0的计算
- 迭代算法
gradient descent
- descent的方向
- 迭代速度的选择
- 汇合
总结

logistic regression problem

Y是概率的情况

现实生活中，有一些问题，不仅需要分类01，还需要给出分类的概率。这种情况下的target function是：

f(x)=P(+1|x)

f(x)=P(+1| x )

相同数据不同目标函数

logistic regression用到的数据和linear classification用到的数据一样，但是却需要得到概率输出的Y值。

logis假设集

既然数据是01型的，需要的y是概率型的，那么我们的假设集肯定得输出概率型的y，且范围在[0,1]。

使用logistic假设集，将输出限制到[0,1]之间。

logistic regression error

有了假设集H(logistic的假设集)，就需要演算法A去选出合适的假设集，但是需要有合适的标准才可以选择啊，首先回归之前学过的error measure。

error already stydied

likelihood

研究error的测量，就是研究以什么样的标准，去评判构建出来的g是否真实趋近于f。

首先，可以算出以f表示的，当前数据出现的概率，当前数据已经出现了，那么这个概率应该很大。同时，在计算出以g表示的概率，这个概率应该likelihood f，所以同样应该概率很大。

这样，就把问题转化成了最大似然的优化问题。

优化化简

gradient for lr error

上文中，得到了EinE_{in}，那么如何求解这个优化问题呢

Ein的性质

连续可微，二次倒数存在，凸函数

Ein梯度的计算

Ein梯度等于0的计算

很困难

迭代算法

gradient descent

descent的方向

梯度方向是函数增长最快的方向，这里求解的问题是最小值的优化问题，方向应该是梯度的反方向。

迭代速度的选择

太快的话可能好可能差，原有公式中的假设不存在，所以存疑。

汇合

总结

ML基石_10_LogisticRegression相关推荐

ML基石_1_LearningProblem
课程逻辑学习与机器学习机器学习的适用机器学习概图课程逻辑本系列文章属于台湾大学<机器学习基石>的笔记. 该课程主要包括以下四个部分 1. When can machine lea ...
ML基石_14_Regularization
知识脉络模型太复杂容易造成过拟合,因此让模型从复杂的慢慢的变简单. step back matrix form lagrange multiplier augmented error other v ...
ML基石_11_HazardOfOverfitting
学习曲线来说,当数据量N很小的时候,large generation会造成很大的Eout. 造成overfit的主要有四种因素: 1. 资料量不够 2. stochastic noise太多 3. 目 ...
ML基石_12_NonLinearTransformation
retro quadratic hypothesis nonlinear transform price on nonlinear transform structured hypothesis se ...
ML基石_LinearModelsForClassfication
retro start linear models for 01 classification 回顾线性模型误差函数分析解决步骤 stochastic gradient descent 概述 PL ...
ML基石_9_LinearRegression
linear regression problem linear regression algorithm 优化问题求梯度算法 generalization issue 是否学到了东西上限保证 ...
ML基石_8_NoiseAndError
recap Noise and Probabilistic Target noise来源 Probabilistic Target Error Measure Algorithmic Error Me ...
ML基石_56_TheoryOfGeneralization
RECAP SOLUTION m增长速度受限将m带回原式中的M 例子总结 RECAP 机器学习是可行的,如果假设集H是有限的并且统计样本数据(statistical data)很大. 那么,问题来 ...
ML基石_4_FeasibilityOfLearning
回顾 focus: binary classification or regression from a batch of supurvised data with concrete features ...

ML基石_10_LogisticRegression