loss函数取对数的作用和意义

平时在一些数据处理中，经常会把原始数据取对数后进一步处理。
之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：
1. 缩小数据的绝对数值，方便计算。
例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。
2. 取对数后，可以将乘法计算转换称加法计算。

3. 某些情况下，在数据的整个值域中的在不同区间的差异带来的影响不同。例如，中文分词的mmseg算法，计算语素自由度时候就取了对数，这是因为，如果某两个字的频率分别都是500，频率和为1000，另外两个字的频率分别为200和800，如果单纯比较频率和都是相等的，但是取对数后，log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411，这时前者的和更大，取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见，所以选择前者。
从log函数的图像可以看到，自变量x的值越小，函数值y的变化越快，还是前面的例子，同样是相差了300,但log500-log200>log800-log500，因为前面一对的比后面一对更小。
也就是说，对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的，例如对于价格，买个家电，如果价格相差几百元能够很大程度影响你决策，但是你买汽车时相差几百元你会忽略不计了。

4. 取对数之后不会改变数据的性质和相关关系，但压缩了变量的尺度，例如800/200=4, 但log800/log200=1.2616，数据更加平稳，也消弱了模型的共线性、异方差性等。
5. 且所得到的数据易消除异方差问题。
6. 在经济学中，常取自然对数再做回归，这时回归方程为 lnY=a lnX+b ，两边同时对X求导，1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。

当然，如果数据集中有负数当然就不能取对数了。实践中，取对数的一般是水平量，而不是比例数据，例如变化率等。

loss函数取对数的作用和意义相关推荐

取对数的作用（机器学习的推导公式经常取对数）
取对数的作用: 第一点:减小数值,方便计算和存储第二点:取对数,依然满足等式,除此之外,将乘法变成加法运算,加法运算在计算机中的时间比乘法低,再次,取对数后求导得到的结果比直接求导得到的结果要更加简 ...
数据处理取对数的作用
作者:姚岑卓链接:https://www.zhihu.com/question/22012482/answer/21315349 来源:知乎著作权归作者所有,转载请联系作者获得授权. 如需要收回, ...
[1]数据分析中变量取对数的意义
目录数据取对数的理论来源数据取对数的作用数据取对数的理论来源参考:https://www.zhihu.com/question/22012482 数据取对数的作用原始数据取对数是由于基于对数 ...
回归分析什么时候取对数_技术派|SPSS数据分析心得小结及心得分享！必备收藏...
作者:徐定德来源:经管之家,欢迎转载,欢迎分享. 学习数据分析之spss分析工具,可真的不是一般的功夫,真的要很认真和很细心才能做得好spss.下面我来和大家分享一下关于SPSS数据分析心得小结,希 ...
处理数据时，对数据取对数的意义
平时在一些数据处理中,经常会把原始数据取对数后进一步处理. 之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1. 缩小数据的绝对数值,方便计算. ...
python取对数及作对数差在绘制散点图中的作用
文章目录前言一.diff()运算二.三种情况下的散点图 1.取数据 2.绘制散点图总结前言问题背景:在做两变量散点图分析其相关性时,在某本书上看到了如下操作: trans_data = n ...
数据取对数运算的意义
平时在一些数据处理中,经常会把原始数据取对数后进一步处理. 之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1. 缩小数据的绝对数值,方便计算. ...
两边同时取对数求复合函数_【函数与导数】复合函数求导的几个妙用
已经消失一段时间了~ 最近开始学习导数,接触到了一些比较神奇的结论和方法. 如果有时间的话,会慢慢归类整理上来. 复合函数求导是高考中必须掌握的东西,内容如下:设 ,对求导得: 而用复合函数求导法可 ...
【2】激活函数与Loss函数求导
文章目录 1.常见的激活函数与梯度 Sign函数 Sigmoid函数 Tanh函数 ReLU函数 Softmax函数 Leaky ReLU函数 SELU函数 Softplus函数 2.常见的Loss与 ...

loss函数取对数的作用和意义

loss函数取对数的作用和意义相关推荐

最新文章

热门文章