论述：数值计算中的精度问题

更新历史
20190323：

首次发布

(1−10÷9)(1-10\div9)(1−10÷9)等于多少？

这个问题看上去很简单，我们可以很容易地得到：

1−10÷9=1−1.11˙=−0.11˙1-10\div9 = 1-1.1\dot1 = -0.1\dot1 1−10÷9=1−1.11˙=−0.11˙

可以看到，理论上的结果是一个无限循环的小数。
如果我们通过Python (博主采用的Python版本为：3.7.2)去计算上述的表达式，得到的结果是：

>>> 1-10/9
-0.11111111111111116

如果我们通过Matlab (博主采用的Matlab版本为：2017b)去计算上述的表达式，得到的结果则是：

-0.111111111111111

到此为止，机智的你一定发现了：

用Python和Matlab计算出来的结果，小数部分的位数都是有限的
用Python和Matlab计算出来的结果，小数部分的位数不一样
用Python和Matlab计算出来的结果，对于常规数值计算的需求来说，精度都是远远足够的

将上述的发现概括、总结、升华一下，那就是：

用高精度的计算工具计算表达式(1−10÷9)(1-10\div9)(1−10÷9)，得到的结果在精度上是有限但又满足需求的。

借此，我们可以很容易地想到：

用低精度的计算工具计算表达式(1−10÷9)(1-10\div9)(1−10÷9)，得到的结果在精度上是有限的，结果的精度不一定满足需求。

是的，如果使用的计算工具的精度不够高，你可能会得到：

     1-10÷9 = 0
或者：  1-10÷9 = -0.1
或者：  1-10÷9 = -0.11
或者：  ...

以上的结果你能接受到什么程度，取决于你的计算需求。在硬件计算的领域，例如利用FPGA做卷积计算，使用的乘法器、加法器、乘加器等存在位宽的限制，往往就需要很小心地考虑数据的计算精度。

用一句话将本论述归纳总结一下，那就是：

做数值计算时，需要关注精度问题

论述：数值计算中的精度问题相关推荐

matlab在数值计算中的应用,详解MATLAB在科学计算中的应用
详解MATLAB在科学计算中的应用编辑锁定讨论上传视频 <详解MATLAB在科学计算中的应用>是2011年电子工业出版社出版的图书,作者是陈泽占海明. 书名详解MATLA ...
java类型精度排序,Java中BigDecimal精度和相等比较的坑
为什么要有bigdecimal ,他是干什么的 float和double类型的主要设计目标是为了科学计算和工程计算.他们执行二进制浮点运算,这是为了在广域数值范围上提供较为精确的快速近似计算而精心设计 ...
计算价格, java中浮点数精度丢失的解决方案
计算价格, java中浮点数精度丢失的解决方案转载于:https://www.cnblogs.com/gloryhope/p/9896719.html
bigdecimal 和负数比较_Java中BigDecimal精度和相等比较的坑
为什么要有BigDecimal ,他是干什么的 float和double类型的主要设计目标是为了科学计算和工程计算.他们执行二进制浮点运算,这是为了在广域数值范围上提供较为精确的快速近似计算而精心设计 ...
Python中浮点数精度处理
from: Python中浮点数精度处理 Python中,浮点数运算,经常会碰到如下情况: 出现上面的情况,主要还是因浮点数在计算机中实际是以二进制保存的,有些数不精确. 比如说: 0.1是十进制,转 ...
java 浮点数精度_Java中浮点数精度问题
Java中浮点数精度问题 Java中的简单浮点数类型float和double不能够进行运算.不光是Java,在其它很多编程语言中也有这样的问题.如下图所示: public class DataRang ...
求qt如何解决小数计算过程中的精度丢失
问题描述在下面的例子中,变量a减去一个常量,本该值为0.90,但是通过程序得到a的值0.8999999999,例子如下: qreal a = 0.95; a = a - 0.05; 不光是做减法的时 ...
搜索和推荐中的精度和召回(recall)分别是什么意思？
●今日面试题分享 ● 搜索和推荐中的精度和召回(recall)分别是什么意思? 解析: 精度/精确率,和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量. 其中精度是检索出相关 ...
数值计算中的overflow and underflow
数值计算中的overflow and underflow 以softmax为例实数在计算机内用二进制标识,所以不是一个精确值,当数值过小的时候,被四舍五入为0,这就是下溢出,而指数函数容易出现无穷大 ...
matlab在有限差分法中的应用,MATLAB在有限差分法数值计算中的应用
第卷第期四川理工学院学报自然科学版仃闷以仃从年月文章编号一洲沁一在有限差分法数值计算中的应用赵德奎 ' , 刘勇 ' 四川理工学院物理系 , 四川自贡四川省 ...

论述：数值计算中的精度问题

论述：数值计算中的精度问题

论述：数值计算中的精度问题相关推荐

最新文章

热门文章