避免数字计算精度误差的方法详解

0.1 + 0.2 = 0.30000000000000004
0.8 - 0.6 = 0.20000000000000007
因为计算机读懂的是二进制，而不是十进制

把 0.1 和 0.2 转换成二进制看看：
0.1 => 0.0001 1001 1001 1001…（无限循环）
0.2 => 0.0011 0011 0011 0011…（无限循环）
双精度浮点数的小数部分最多支持 52 位，所以两者相加之后得到一串 0.0100 1100 1100 1100 1100 1100 1100 1100 1100 1100 1100 1100 1100 因浮点数小数位的限制而截断的二进制数字

转换为十进制，就成了 0.30000000000000004

为了避免产生精度差异，我们要把需要计算的数字乘以 10 的 n 次幂，换算成计算机能够精确识别的整数，然后再除以 10 的 n 次幂

    var a = 0.1;var b = 0.2;var c = 60;var d = 0.01;var e = 60;function jisuan(){console.log( a+ b);console.log( c+d+e);}jisuan();

//避免数字计算精度误差
Math.formatFloat = function(f, digit) { var m = Math.pow(10, digit); return parseInt(f * m, 10) / m;
}
console.log( Math.formatFloat(a+b, 1) );
console.log( Math.formatFloat(c+d+e, 2) );

追加[加法和乘法]  =============
function addNum(a, b) {var c, d, e;try {c = a.toString().split(".")[1].length;} catch (f) {c = 0;}try {d = b.toString().split(".")[1].length;} catch (f) {d = 0;}return e = Math.pow(10, Math.max(c, d)), (mulNum(a, e) + mulNum(b, e)) / e;
}function mulNum(a, b) {var c = 0,d = a.toString(),e = b.toString();try {c += d.split(".")[1].length;} catch (f) {}try {c += e.split(".")[1].length;} catch (f) {}return Number(d.replace(".", "")) * Number(e.replace(".", "")) / Math.pow(10, c);
}

避免数字计算精度误差的方法详解相关推荐

python判断输入数字大于0,对python 判断数字是否小于0的方法详解
对python 判断数字是否小于0的方法详解为了精度更准确可以使用数字的绝对值 < 1.0e-16 或者 < 1.0e-8来对比 abs(Num) 以上这篇对python 判断数字是 ...
c语言字母输出什么意思,C语言中字符的输入输出以及计算字符个数的方法详解...
C语言字符输入与输出标准库提供的输入/输出模型非常简单.无论文本从何处输入,输出到何处,其输入/输出都是按照字符流的方式处理.文本流是由多行字符构成的字符序列,而每行字符则由 0 个或多个字符组成, ...
javascript写css样式,原生javascript实现读写CSS样式的方法详解
原生javascript实现读写CSS样式的方法详解发布于 2017-05-24 15:05:31 | 120 次阅读 | 评论: 0 | 来源: 网友投递 JavaScript客户端脚本语言Jav ...
数字内置方法详解(int/long/float/complex)
一.常用方法 1.1.int 以下是Python2.7的int内置函数: 序号函数名作用举例 1 int.bit_length() 二进制存储这个整数至少需要多少bit(位). >> ...
python中backward_pytorch的梯度计算以及backward方法详解
基础知识 tensors: tensor在pytorch里面是一个n维数组.我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度.在pytorch中一般叫做d ...
c语言数字分离编程,C++ 整数拆分方法详解
一.问题背景整数拆分,指把一个整数分解成若干个整数的和如 3=2+1=1+1+1 共2种拆分我们认为2+1与1+2为同一种拆分二.定义在整数n的拆分中,最大的拆分数为m,我们记它的方案数为 ...
python支持向量机回归_Python中支持向量机SVM的使用方法详解
除了在Matlab中使用PRTools工具箱中的svm算法,Python中一样可以使用支持向量机做分类.因为Python中的sklearn库也集成了SVM算法,本文的运行环境是Pycharm. 一.导 ...
python的装饰器迭代器与生成器_python3 装饰器、列表生成器、迭代器、内置方法详解等（第四周）...
前言: 为什么要学习python3? 原因: 1.学习一门语言能力 2.通过该语言能力完成测试自动化以及独立完成自测框架知识那么我要做什么呢? 1.每天花十个小时完成python3的学习要在什么地 ...
Java8-5-Function函数式接口进阶与默认方法详解
Java8-5-函数式接口进阶与默认方法详解上一篇我们快速的借助示例演示了stream api的简单应用,体会到了使用stream api对集合处理的便捷和其与函数式接口密不可分的关系,所以为了更高 ...

避免数字计算精度误差的方法详解

避免数字计算精度误差的方法详解相关推荐

最新文章

热门文章