logistic regression中的cost function选择

一般的线性回归使用的cost function为:

但由于logistic function：

本身非凸函数（convex function），如果直接使用线性回归的cost function的话，很难到达全局最优解。

相反，很容易陷入局部最优解然后就认为到达收敛条件了。因此，logistic regression中使用的cost function为：

其图像为一个碗（bowl shape function），碗的底部为（1,0）。可以看出：当预测正确且非常自信时（h（x) = y），

cost function 为0；当完全预测错误且非常自信时（h(x) = !y）, cost function 为 inf。

转载于:https://www.cnblogs.com/instant7/p/4093435.html

logistic regression中的cost function选择相关推荐

Linear Regression、Logistic Regression、激励函数activation function（relu,sigmoid, tanh, softplus）
1.5.2.Linear Regression 1.5.2.1.Linear Regression 1.5.2.1.1.案例1 1.5.2.1.2.案例2 1.5.2.1.3.案例3源码(带有保存模型 ...
吴恩达机器学习ex2 Logistic Regression (python)
Programming Exercise 2: Logistic Regression Machine Learning 目录 Introduction 1 Logistic regression 1 ...
Libliner 中的-s 参数选择：primal 和dual
Libliner 中的-s 参数选择:primal 和dual LIBLINEAR的优化算法主要分为两大类,即求解原问题(primal problem)和对偶问题(dual problem).求解原问 ...
台湾大学林轩田机器学习技法课程学习笔记5 -- Kernel Logistic Regression
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了Soft-Margin SVM,即如果允许有分类错误的点存在,那么在原来的Hard-Margin SVM中添加新的惩罚因子C, ...
Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...
斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”
斯坦福大学机器学习第四课"逻辑回归(Logistic Regression)" 本次课程主要包括7部分: 1) Classification(分类) 2) Hypothesis R ...
机器学习笔记04：逻辑回归(Logistic regression)、分类(Classification)
之前我们已经大概学习了用线性回归(Linear Regression)来解决一些预测问题,详见: 1.<机器学习笔记01:线性回归(Linear Regression)和梯度下降(Gradien ...
Exercise: Logistic Regression and Newton's Method
Exercise: Logistic Regression and Newton's Method 题目地址: Exercise: Logistic Regression 题目概要:某个高中有8 ...
python 逻辑回归复杂抽样_逻辑回归(Logistic Regression) ----转载
概要: 1. 介绍Logistic Regression的数学模型,推导并详细解释求解最优回归系数的过程: 2. Python实现Logistic Regression的基本版: 3. 介绍sklea ...

logistic regression中的cost function选择

logistic regression中的cost function选择相关推荐

最新文章

热门文章