数值计算中的上溢和下溢

利用计算机实现数值计算，指的通常是利用迭代过程更新解来解决数学问题，而不是通过解析过程推到数学公式求解。常见得数值计算主要包括优化问题求解和解线性方程组。

上溢和下溢

通常实数在计算机内不能精确保存，利用计算机保存实数时，几乎总会引入一些近似误差。在许多情况下，这仅仅是舍入误差，舍入误差会导致一些问题。特别是在一些复合操作下，理论上可行的算法，如果在实际中没有考虑到舍入误差的累积，在实际算法运用过程中也会导致算法的失效。

其中一种情况就是下溢。即有些逼近零的数，如零除或者对零取对数时，得到-，如果对负无穷进一步运算，则会得到非数字；

还有一种情况就是上溢。即大量级的数被近似为正负无穷时，发生上溢。发生上溢后，这些数值也会变为非数值。

解决数值上溢和下溢方法的一个实例是使用softmax函数。

定义为：

考虑一下，当所有xi都等于一个常数C。则softmax函数的值为1/n。

如果C很大，exp(c)的上溢会导致整个表达式未定义；

如果C是一个很小的负数，exp(c)会下溢；

解决方法，计算softmax(z)

如此，上溢的问题可以得到解决。下溢的情况也由于分母不为零解决。

But,有个小问题，当计算Log(softmax(z))时，softmax(z)可能为0，从而导致不可解。

解决方法，使用相同的技巧来解log(softmax(z))。

不过在多数情况下，可以简单地依赖保证数值稳定地底层库。当需要自己实现算法的时候，则需要考虑数值稳定性的问题。

转载于:https://www.cnblogs.com/xmd-home/p/9592140.html

数值计算中的上溢和下溢相关推荐

计算机组成原理中的“上溢”和“下溢”分别的定义是什么？
上溢应该是想要表示的数超过了所能表示的最大值吧,下溢则应该是超过了最小值.这两个应该是带符号数的表示中的吧. 25 6 评论分享举报转存失败重新上传取消 crystal9285 来自科 ...
数值计算基础（上溢下溢、梯度优化、牛顿法、KKT方法）
目录上溢和下溢病态条件基于梯度的优化方法 KKT 方法如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~ 上溢和下溢上溢:当大量级的数字被近似为时发生上溢,进一步计算会导致 ...
上溢、下溢，this指针
1.上溢.下溢: 对整数,溢出指代数值:小于最小值为下溢,大于最大值为上溢对浮点数,溢出指绝对值:绝对值小于浮点数所能表示的最小值,为下溢,当作 0:绝对值大于浮点数所能表示的最大范围,为上溢,当作 ...
C语言：浮点数上溢、下溢学习记录
浮点数上溢.下溢什么是上溢? 数据大于当前定义类型的范围,导致出现异常数据的现象. (当计算导致数字过大,超过当前类型能表达的范围时,就会发生上溢.) 例子1 在我电脑中float类型的长度是4个字 ...
【双符号位判决法】定点数上溢，下溢的判别
上溢.下溢: 上溢:两个数进行运算,得到的结果的绝对值超过最大表示范围.定点整数之间只会发生上溢下溢:两个浮点数运算,得到的结果的绝对值超过最小的表示范围.只有浮点数的运算会发生下溢看图: 双符号 ...
机器学习中的数学——上溢和下溢
分类目录:<机器学习中的数学>总目录连续数学在数字计算机上的根本困难是,我们需要通过有限数量的位模式来表示无限多的实数.这意味着我们在计算机中表示实数时,几乎总会引入一些近似误差.在许多 ...
整数上溢和下溢与浮点上溢和下溢
整数的上溢 #include<stdio.h> #include<math.h> int main() { int zhengshu1,zhengshu2;//int 类型在3 ...
视频编解码，bbv 缓冲区的上溢和下溢
使用硬件相似的数据处理.一般都是数据进来,处理后立即发出去的形式.所以一般有一个数据进,一个数据出,2个接口. 硬件处理基本都要求实时.数据进来,处理之后马上发处理,这个时间要求非常短,一般要求控制在 ...
C++ 上溢和下溢（overflow underflow）
存储在内存中的数值都有一个允许的数值范围.当计算结果超出了数值范围,就BOOM~~ #include <iostream>using namespace std;int main() {f ...

数值计算中的上溢和下溢

数值计算中的上溢和下溢相关推荐

最新文章

热门文章