Logistic Regression 中的函数 f,gf,gf, g

f(x)=ln(1+ex),x∈R,g(x)=f(−x)f(x)=ln⁡(1+ex),x∈R,g(x)=f(−x)f(x) = \ln (1 + e ^{x}), x \in \mathbb R, g(x) = f(-x)

f,gf,gf, g 的性质

f′(x)=ex1+ex>0,x∈Rf′(x)=ex1+ex>0,x∈Rf'(x) = \dfrac {e ^{x}} {1 + e ^{x}} \gt 0, x \in \mathbb R
f′′(x)=(ex1+ex)′=ex(1+ex)2>0,x∈Rf″(x)=(ex1+ex)′=ex(1+ex)2>0,x∈Rf''(x) = \left ( \dfrac {e ^{x}} {1 + e ^{x}} \right )' = \dfrac {e ^{x}} {(1 + e ^{x} ) ^2} > 0, x \in \mathbb R
limx→+∞f(x)=+∞,limx→−∞f(x)=0limx→+∞f(x)=+∞,limx→−∞f(x)=0\lim \limits_{x \to + \infty} f(x) = + \infty, \lim \limits_{x \to - \infty} f(x) = 0
limx→−∞f(x)x=limx→−∞f′(x)=1limx→−∞f(x)x=limx→−∞f′(x)=1\lim \limits_{x \to - \infty} \dfrac {f(x)} {x} = \lim \limits_{x \to - \infty} f'(x) = 1
limx→+∞[f(x)−x]=limx→+∞ln(1+e−x)=0limx→+∞[f(x)−x]=limx→+∞ln⁡(1+e−x)=0\lim \limits_{x \to + \infty} \left [ f(x) - x \right ]= \lim \limits_{x \to + \infty} \ln (1 + e ^{- x}) = 0

g(x)=f(−x)=ln(1+e−x),x∈Rg(x)=f(−x)=ln⁡(1+e−x),x∈Rg(x) = f(-x) = \ln (1 + e ^{-x}), x \in \mathbb R
g′(x)=11+e−xe−x(−1)=−11+ex<0,x∈Rg′(x)=11+e−xe−x(−1)=−11+ex<0,x∈Rg'(x) = \dfrac {1} {1 + e ^{-x}} e ^{-x} (-1) = - \dfrac {1} {1 + e ^{x}} \lt 0, x \in \mathbb R
g′′(x)=−(11+ex)′=ex(1+ex)2>0,x∈Rg″(x)=−(11+ex)′=ex(1+ex)2>0,x∈Rg''(x) = - \left ( \dfrac {1} {1 + e ^{x}} \right )' = \dfrac {e ^{x}} {(1 + e ^{x} ) ^2} > 0, x \in \mathbb R

SVM 的函数 cost0,cost1cost0,cost1\operatorname {cost} _0, \operatorname {cost} _1

cost0(x)=max(0,x−1)cost0(x)=max(0,x−1){cost} _0 (x) = \max (0, x - 1)
cost1(x)=max(0,1−x)cost1(x)=max(0,1−x){cost} _1 (x) = \max (0, 1 - x)

Cost function of Logistic Regression

hθ(Xi)=11+e−θ⊺Xihθ(Xi)=11+e−θ⊺Xih _{\theta} \left (X_i\right ) = \dfrac {1} {1 + e ^{- \theta ^{\intercal} X_i}}
J(θ)=−1m∑i=1m{yiln(hθ(Xi))+(1−yi)ln(1−hθ(Xi))}+λ2m∑j=1nθ2jJ(θ)=−1m∑i=1m{yiln⁡(hθ(Xi))+(1−yi)ln⁡(1−hθ(Xi))}+λ2m∑j=1nθj2J\left (\theta\right ) = - \dfrac {1} {m} \sum \limits_{i = 1} ^{m} \left \{ y_i \ln \left ( h _{\theta} \left (X_i\right ) \right )+ \left (1 - y_i\right ) \ln \left (1 - h _{\theta} \left (X_i\right )\right ) \right \} + \dfrac {\lambda} {2 m} \sum \limits_{j = 1} ^{n}\theta _{j} ^2
则 −lnhθ(Xi)=g(θ⊺Xi)−ln⁡hθ(Xi)=g(θ⊺Xi)- \ln h _{\theta} \left (X_i \right ) = g(\theta ^{\intercal} X_i)
−ln(1−hθ(Xi))=f(θ⊺Xi)−ln⁡(1−hθ(Xi))=f(θ⊺Xi)- \ln \left (1 - h _{\theta} \left (X_i\right )\right ) = f(\theta ^{\intercal} X_i)
于是 J(θ)=∑i=1m[yig(θ⊺Xi)+(1−yi)f(θ⊺Xi)]+λ2m∑j=1nθ2jJ(θ)=∑i=1m[yig(θ⊺Xi)+(1−yi)f(θ⊺Xi)]+λ2m∑j=1nθj2J\left (\theta\right ) = \sum \limits_{i = 1} ^{m} \left [ y_i g(\theta ^{\intercal} X_i) + \left (1 - y_i\right ) f(\theta ^{\intercal} X_i) \right ] + \dfrac {\lambda} {2 m} \sum \limits_{j = 1} ^{n}\theta _{j} ^2

Cost function of Support Vector Machine

hθ(Xi)={1,0,θ⊺Xi≥0,otherwise,hθ(Xi)={1,θ⊺Xi≥0,0,otherwise,h _{\theta} \left (X_i\right ) = \begin{cases} 1, & \theta ^{\intercal} X_i \ge 0, \\ 0, & \text {otherwise}, \end{cases}
J(θ)=C∑i=1m[yicost1(θ⊺Xi)+(1−yi)cost0(θ⊺Xi)]+∑j=1nλ2θ2jJ(θ)=C∑i=1m[yicost1⁡(θ⊺Xi)+(1−yi)cost0⁡(θ⊺Xi)]+∑j=1nλ2θj2J\left (\theta\right ) = C \sum \limits_{i = 1} ^{m} \left [ y_i \operatorname {cost} _1 (\theta ^{\intercal} X_i) + \left (1 - y_i\right ) \operatorname {cost} _0 (\theta ^{\intercal} X_i) \right ] + \sum \limits_{j = 1} ^{n} \dfrac {\lambda} {2} \theta _{j} ^2

Cost Function of Support Vector Machine相关推荐

机器学习-62-Structured Learning-03-Structured Support Vector Machine(结构化学习-结构化支持向量机)
文章目录 Structured Support Vector Machine Unified Framework(统一框架:两步走,三问题) two steps(两步) three problems( ...
机器学习算法系列（十五）-软间隔支持向量机算法（Soft-margin Support Vector Machine）
阅读本文需要的背景知识点:硬间隔支持向量机.松弛变量.一丢丢编程知识一.引言前面一节我们介绍了一种最基础的支持向量机模型--硬间隔支持向量机,该模型能对线性可分的数据集进行分类,但现实中的数据 ...
机器学习算法系列（十六）-非线性支持向量机算法（Non-Linear Support Vector Machine）
阅读本文需要的背景知识点:线性支持向量机.一丢丢编程知识一.引言前面我们用两节介绍了两种支持向量机模型--硬间隔支持向量机.软间隔支持向量机,这两种模型可以统称为线性支持向量机,下面来介绍另一 ...
台湾大学林轩田机器学习技法课程学习笔记3 -- Kernel Support Vector Machine
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了SVM的对偶形式,即dual SVM.Dual SVM也是一个二次规划问题,可以用QP来进行求解.之所以要推导SVM的对偶形式 ...
机器学习算法 --- SVM (Support Vector Machine)
一.SVM的简介 SVM(Support Vector Machine,中文名:支持向量机),是一种非常常用的机器学习分类算法,也是在传统机器学习(在以神经网络为主的深度学习出现以前)中一种非常牛X的 ...
【李宏毅2020 ML/DL】补充：Support Vector Machine (SVM)
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本次笔记补充视频 BV1JE411g7XF 的缺失部分.在另一个UP主上传的2017课程BV13x411v7U ...
Support Vector Machine学习笔记
学习目标掌握SVM的基本原理以及推导过程 1.SVM的基本原理: SVM本质上是一种二分类模型,基本模型是定义在特征空间中间隔最大的分类器,它的学习/优化目的就是使得这个间隔最大化. 为什么要使间隔 ...
李宏毅svm_【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）...
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
【机器学习算法】支持向量机（support Vector Machine，SVM）
目录支持向量机支持向量机概述线性可分及线性不可分的问题线性可分的支持向量机线性不可分的支持向量机支持向量机与神经网络之间的关系处理两类以上的分类问题. 我的主页:晴天qt01的博客_CS ...
机器学习| 面试题：01、机器学习中LR（Logistic Regression）和SVM（Support Vector Machine）有什么区别与联系？
问题机器学习中LR(Logistic Regression)和SVM(Support Vector Machine)有什么区别与联系? 背景 LR和SVM的概念大家都有了解甚至很熟悉了,不过在面试中 ...

Cost Function of Support Vector Machine