机器学习之上溢，下溢，病态矩阵

数值分析：矩阵求逆-奇异性、条件数
机器学习各种资料涉及到的知识，在我不理解和认为不对的地方做了补充和修改，若有错误欢迎指教！

机器学习算法通常需要大量的数值计算。这通常是指通过迭代过程更新解的估
计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。
常见的操作包括优化（找到最小化或最大化函数值的参数）和线性方程组的求解。
对数字计算机来说实数无法在有限内存下精确表示，因此仅仅是计算涉及实数的函
数也是困难的。

4.1 上溢和下溢
连续数学在数字计算机上的根本困难是，我们需要通过有限数量的位模式来表
示无限多的实数。这意味着我们在计算机中表示实数时，几乎总会引入一些近似误
差。在许多情况下，这仅仅是舍入误差。舍入误差会导致一些问题，特别是当许多
操作复合时，即使是理论上可行的算法，如果在设计时没有考虑最小化舍入误差的
累积，在实践时也可能会导致算法失效。

一种极具毁灭性的舍入误差是下溢（underflow）。当接近零的数被四舍五入为
零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不
同。例如，我们通常要避免被零除（一些软件环境将在这种情况下抛出异常，有些
会返回一个非数字(not-a-number, NaN) 的占位符）或避免取零的对数（这通常被
视为"-无穷"，进一步的算术运算会使其变成非数字）。

另一个极具破坏力的数值错误形式是上溢（overflow）。当大量级的数被近似为
“+无穷”或“-无穷” 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。

必须对上溢和下溢进行数值稳定的一个例子是softmax 函数（softmax func-tion）。softmax 函数经常用于预测与Multinoulli 分布相关联的概率，定义为：

（与通常的条件数定义有所不同）这是最大和最小特征值的模之比1。当该数很大时，矩阵求逆对输入的误差特别敏感。
这种敏感性是矩阵本身的固有特性，而不是矩阵求逆期间舍入误差的结果。即
使我们乘以完全正确的矩阵逆，病态条件的矩阵也会放大预先存在的误差。在实践
中，该错误将与求逆过程本身的数值误差进一步复合。

机器学习之上溢，下溢，病态矩阵相关推荐

数值计算基础（上溢下溢、梯度优化、牛顿法、KKT方法）
目录上溢和下溢病态条件基于梯度的优化方法 KKT 方法如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~ 上溢和下溢上溢:当大量级的数字被近似为时发生上溢,进一步计算会导致 ...
C Primer Plus 6th Edition第三章编程练习上溢下溢
3.11 编程练习 1.通过试验(即编写带有此类问题的程序)观察系统如何处理整数上溢.浮点数上溢和浮点数下溢的情况. int类型(整数类型)占用4字节,范围为-2^ 31 ~ 2^31-1 即-214 ...
【双符号位判决法】定点数上溢，下溢的判别
上溢.下溢: 上溢:两个数进行运算,得到的结果的绝对值超过最大表示范围.定点整数之间只会发生上溢下溢:两个浮点数运算,得到的结果的绝对值超过最小的表示范围.只有浮点数的运算会发生下溢看图: 双符号 ...
程序员面试、算法研究、编程艺术、红黑树、机器学习5大系列集锦
(七月在线:https://www.julyedu.com/,面试 & 算法 & 机器学习在线课程) 作者:July--结构之法算法之道blog之博主. 时间:2010年10月-201 ...
重构机器学习算法的知识体系 - 《终极算法》读书笔记
2019独角兽企业重金招聘Python工程师标准>>> 最近有幸从图书馆借阅了Pedro Domingos的<The Master Alogrithm>一书,这本书的中文 ...
程序员面试算法研究编程艺术红黑树机器学习5大系列集锦
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 程序员面 ...
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结
程序员面试.算法研究.编程艺术.红黑树.机器学习5大经典原创系列集锦与总结 (七月在线:https://www.julyedu.com/,面试 & 算法 & 机器学习在线课程) 作者: ...
(转载)程序员面试、算法研究、编程艺术、红黑树、机器学习5大系列集锦
作者:July–结构之法算法之道blog之博主. 时间:2010年10月-2018年5月,一直在不断更新中.. 出处:http://blog.csdn.net/v_JULY_v . 说明:本博客中部分 ...
神级：程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结
https://blog.csdn.net/v_JULY_v/article/details/6543438 https://blog.csdn.net/v_JULY_v/article/detail ...

机器学习之上溢，下溢，病态矩阵

机器学习之上溢，下溢，病态矩阵相关推荐

最新文章

热门文章