机器学习笔记（十）——Logistic Function AND Softmax Function

2024-05-30 06:14:27

一、说明

在逻辑回归和一些机器学习算法中， Logistic函数和Softmax函数是常用到的，今天就先讨论下这两个函数。

二、Logistic Function

Logistic function一般用于二分类问题，它的函数定义如下：

f(x)=11+e−x(1)

f(x) = \frac{1}{1+e^{-x}} (1)
它的图像如下：

由于logistic 函数的图形很像S，所以也叫sigmod 曲线。下面求一下logistic函数的导数，它在机器学习算法的推导过程中可能用到。

f′(x)=[(1+e−x)−1]′=−(1+e−x)−2∗e−x∗(−1)=e−x(1+e−x)2=11+e−xe−x1+e−x=11+e−x1+e−x−11+e−x=11+e−x(1−11+e−x)=f(x)[1−f(x)]

f'(x) = [(1+e^{-x})^{-1}]' \\ = -(1+e^{-x})^{-2}*e^{-x}*(-1) \\ = \frac{e^{-x}}{(1+e^{-x})^2} \\ = \frac{1}{1+e^{-x}} \frac{e^{-x}}{1+e^{-x}} \\ = \frac{1}{1+e^{-x}} \frac{1+e^{-x}-1}{1+e^{-x}} \\ =\frac{1}{1+e^{-x}} (1- \frac{1}{1+e^{-x}}) \\ =f(x)[1-f(x)]
即 f′(x)=f(x)[1−f(x)]f'(x)=f(x)[1-f(x)]
通过logistic函数，可以把变量 xx映射到[0, 1]之间,在分类问题上，x是训练集上数据和对应维度特征参数的组合：θTx+b\boldsymbol{\theta ^Tx}+b, 具体会在后边讲到。

三、Softmax Function

Softmax function 是sigmod 函数的扩展，它可以用于多分类问题。它的定义如下所示：

Yk=ϕ(zk)=ezk∑Ki=1ezi,k=1,2,…,K

Y_k =\phi(z_k)= \frac{e^{z_k}}{\sum_{i=1}^Ke^{z_i}}, k= 1,2, \dots, K
其中， zz往往是关于参数和样本数据的复合函数，softmax 函数的目的是求使得YkY_k 取值最大的 zz中的参数，kk表示有k个分类。

图中的 P(t|z)P(t|z)表示对于给定的输入 zz,它属于t的概率值。关于具体的推导，可参照文献2. 但是注意，文献2 中的ϕK=ϕieβi\phi_K = \frac{\phi_i}{e^{\beta_i}}, 有问题请随时留言。

四、参考文献

http://peterroelants.github.io/posts/neural_network_implementation_intermezzo02/
http://blog.csdn.net/hejunqing14/article/details/48980321

机器学习笔记（十）——Logistic Function AND Softmax Function相关推荐

2018-3-20李宏毅机器学习笔记十----------Logistic Regression
上节讲到:既然是一个直线型,只需要求解w和b.为何还要那么费劲的使用概率??? 视频:李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilib ...
机器学习笔记十四：随机森林
在上一篇机器学习笔记十三:Ensemble思想(上)中,简要的提了一下集成学习的原理和两种主要的集成学习形式. 而在这部分要讲的随机森林,就算是其中属于bagging思路的一种学习方法.为了篇幅,b ...
sigmoid function vs softmax function
DIFFERENCE BETWEEN SOFTMAX FUNCTION AND SIGMOID FUNCTION 二者主要的区别见于, softmax 用于多分类,sigmoid 则主要用于二分类: ...
吴恩达机器学习笔记4-代价函数III(cost function)
这是代价函数的样子,等高线图,则可以看出在三维空间中存在一个使得?(?0, ?1)最小的点: 通过这些图形,我希望你能更好地理解这些代价函数?所表达的值是什么样的,它们对应的假设是什么样的,以及什么 ...
FlyAI小课堂：Python机器学习笔记：Logistic Regression
Logistic回归公式推导和代码实现 1,引言 logistic回归是机器学习中最常用最经典的分类方法之一,有人称之为逻辑回归或者逻辑斯蒂回归.虽然他称为回归模型,但是却处理的是分类问题,这主要是因 ...
机器学习笔记：logistic regression
1 逻辑回归介绍 logistic regressioin是一种二分类算法,通过sigmoid激活函数将线性组合压缩到0和1之间,来代表属于某一个分类的属性虽然其中带有"回归"两 ...
机器学习笔记(十二)计算学习理论
12.计算学习理论 12.1基础知识计算学习理论(computationallearning theory)研究的是关于通过计算来进行学习的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难 ...
机器学习笔记——3 logistic模型和probit模型基本原理，从哲学视角谈谈统一二者的潜变量模型
logistic模型和probit模型基本原理,从哲学视角谈谈统一二者的潜变量模型监督学习的两种类别在监督学习中,根据标签值的类型可以将其分为两类: 一类是定量数据,其分为计量型和计数型,这种可以 ...
吴恩达机器学习笔记 —— 7 Logistic回归
http://www.cnblogs.com/xing901022/p/9332529.html 本章主要讲解了逻辑回归相关的问题,比如什么是分类?逻辑回归如何定义损失函数?逻辑回归如何求最优解?如何 ...

最新文章

热门文章