1 起源

在一些问题中，我们的目标函数是max(x1,x2,...xn) 或者min(x1,x2,....xn)，但是max和min都不是可微函数，因而这些目标函数无法直接用到深度学习任务中

2 交叉熵与softmax

在神经网络中，假设我们最后一层使用的是softmax，来得到各个概率分布，softmax的形式为 $\frac{exp(x_j)}{\sum_{i=1}^ne^{x_i}}$ ，其中 $exp(x) \doteq e^x$

而在分类问题或者一些其他问题中，我们会使用到交叉熵 $\sum_{i=0}^Np_i logq_i$ ，其中的每一项，我们都有形如 $log\frac{exp(x_j)}{\sum_{i=1}^ne^{x_i}}=log(exp(x_j))-log(\sum_{i=1}^ne^{x_i})=x_j-log(\sum_{i=1}^ne^{x_i})$

其中，减号后面的部分，就是这一个博客需要说明的log-sum-exp (LSE)

2.1 softmax的上下溢出

假设我们目前有两个例子：一个数据集为[10000,10000,10000]（很大的数，exp(xi)之后会上溢出）；另一个数据集为[-10000,-10000,-10000]（很小的数，exp(xi)之后会下溢出）

这两组数据，如果我们用肉眼去看，肯定可以很轻松地得到它的概率分布为 $[\frac{1}{3},\frac{1}{3},\frac{1}{3}]$ ，但是，如果我们用python去计算这两个数据集的概率的时候：会是这样的情况：

import numpy as np
def softmax(lst):lst_exp=np.exp(lst)total=np.sum(lst_exp)return(lst_exp/total)softmax([10,10,10])
#array([0.33333333, 0.33333333, 0.33333333])
#数值不大的时候，可以得到正确的softmax结果softmax([10000,10000,10000])
'''
RuntimeWarning: overflow encountered in expThis is separate from the ipykernel package so we can avoid doing imports until
python\python37\lib\site-packages\ipykernel_launcher.py:5: RuntimeWarning: invalid value encountered in true_divide"""
array([nan, nan, nan])
'''softmax([-10000,-10000,-10000])'''RuntimeWarning: invalid value encountered in true_divide"""
array([nan, nan, nan])
'''

我们可以发现，数值不是很大/小的时候，是可以得到正确的softmax结果的，但是如果是我们给的这两组极大/小的数据集，那么会得到上/下溢出，得不到正确的softmax结果

在softmax的时候是针对指数进行操作的，值一定会很大。但是之后在计算cross-entropy的时候由于log的存在导致值又回到正常范围。

因此在实际操作中，考虑如何去重写，以得到正常范围内的值。也就是如何去近似log-sum-exp。

3 log-sum-exp trick

我们假设第j项是x中最大的：

$log\sum_{i=1}^n e^{x_i}=log(\sum_{i=1}^n e^{x_i-x_j}e^{x_j})$

$=log(e^{x_j}\sum_{i=1}^ne^{x_i-x_j})$

$=x_j+log(\sum_{i=1}^ne^{x_i-x_j})$

而之前我们计算softmax项的时候，有： $log\frac{exp(x_k)}{\sum_{i=1}^ne^{x_i}}=x_k-log(\sum_{i=1}^ne^{x_i})$

所以我们现在有： $log\frac{exp(x_k)}{\sum_{i=1}^ne^{x_i}}=x_k-log(\sum_{i=1}^ne^{x_i}) =x_k-x_j-log(\sum_{i=1}^ne^{x_i-x_j})$

此时差分比绝对数值要小很多了，大的数据也就可以计算了

#这里的意义其实和前面的softmax函数有一点小小的出入，这里是前面softmax的结果再经过了log之后的内容np.log([1/3,1/3,1/3])
#array([-1.09861229, -1.09861229, -1.09861229])import numpy as np
def softmax_log(lst):max_val=np.max(lst)lst=lst-max_val#lst就相当于xk-xjlst_exp=np.exp(lst)total=np.sum(lst_exp)total=np.log(total)#最后一项return(lst-total)softmax_log([10000,10000,10000])
#array([-1.09861229, -1.09861229, -1.09861229])softmax_log([-10000,-10000,-10000])
#array([-1.09861229, -1.09861229, -1.09861229])softmax_log([100,100,100])
#array([-1.09861229, -1.09861229, -1.09861229])

4 max的平滑

根据泰勒分解，我们有：

$f(X)\approx f(c)+f'(c)(X-c)$

于是我们这里令上式的X为x+a，c为x，f(X)=log(X)

$f(x+a)=log(x+a) \approx f(x)+f'(x)(x+a-x)=f(x)+$ $\frac{1}{x} \times a$

所以 $log(x+a) \approx log(x)+\frac{a}{x}$

也即 $log(\sum_{i \in [1,n],i \ne j}e^{x_i}+e^{x_j}) \approx log(e^{x_j})+\frac{\sum_{i \in [1,n],i \ne j}e^{x_i}}{e^{x_j}}$

而当xj是最大的一项时，我们第二项可以忽略不计（值比第一项要小很多）

所以 $log(\sum_{i \in [1,n]}e^{x_i})=log(\sum_{i \in [1,n],i \ne j}e^{x_i}+e^{x_j}) \approx log(e^{x_j})=x_j=max \{x_1,\dots,x_n \}$

参考资料关于LogSumExp - 知乎 (zhihu.com)

max函数的平滑（log-sum-exp trick）相关推荐

CVX使用CVXQUAD替换CVX中的log、exp等函数
CVX中涉及log.exp.熵的函数都是使用的连续逼近方法来近似原函数,这种逼近慢且精度不高,可能会导致结果出现failed.Inaccurate等情况,导致结果不准确,甚至出现Nan,CVX本身也会 ...
mybatis-plus max函数，sum函数的使用
最近在使用mybatis-plus,发现在对于一些简单函数的使用,官方文档上面没有说明,特此记录下自己的使用方式 max,min,sum函数的使用 QueryWrapper<MemberLeve ...
MySQL max()函数
转载自 MySQL max()函数 MySQL MAX函数介绍 MySQL MAX()函数返回一组值中的最大值.MAX()函数在许多查询中非常方便,例如查找最大数量,最昂贵的产品以及客户的最大付款. ...
python key=lambda函数_使用’key’和lambda表达式的python max函数
我来自OOP背景,尝试学习Python.我使用的是max函数,该函数使用lambda表达式返回Player类型的实例,其中players列表中的totalScore最大. def winner(): ...
成功解决ImportError: cannot import name ‘spline‘ from ‘scipy.interpolate‘—利用make_interp_spline函数绘制平滑的曲线
成功解决ImportError: cannot import name 'spline' from 'scipy.interpolate'-利用make_interp_spline函数绘制平滑的曲线 ...
Pytorch中tensor维度和torch.max()函数中dim参数的理解
Pytorch中tensor维度和torch.max()函数中dim参数的理解维度参考了 https://blog.csdn.net/qq_41375609/article/details/106 ...
Matlab的Max函数详解
1.M = max(A) 描述:返回向量 A 中的最大值,如果 A 为矩阵,则返回每列的最大值组成的行向量. 参数:A 是待求最大值的向量或矩阵. 输出:M 是向量 A 中的最大值行向量,如果 A 为 ...
MATLAB-索引超出矩阵维度下标索引必须为正整数类型或逻辑类型 max()函数，一种解决办法
在使用matlab的max( )函数时,报错:下标索引必须为正整数类型或逻辑类型. 我检查了一遍数组Ldb,索引是没有问题的.matlab的索引是从1开始的,这一点没有用错. 再检查后发现程序里有这样 ...
pandas使用max函数和min函数计算dataframe日期（时间）数据列中最大日期和最小日期对应的数据行(maximum and minimum date or time row)
pandas使用max函数和min函数计算dataframe日期(时间)数据列中最大日期和最小日期对应的数据行(maximum and minimum date or time row in data ...

max函数的平滑（log-sum-exp trick）