标准正态分布的分布函数 $\Phi(x)$ 可以说是"数据分析师"统计计算中非常重要的一个函数,基本上有正态分布的地方都或多或少会用上它。在一些特定的问题中,我们"数据分析师"需要大量多次地计算这个函数的取值,比如我经常需要算正态分布与另一个随机变量之和的分布,这时候就需要用到数值积分,而被积函数就包含

$\Phi(x)$。如果 $Z\sim N(0,1), X\sim f(x)$,$f$ 是 $X$ 的密度函数,那么 $Z+X$

的分布函数就是

我们"数据分析师"知道,$\Phi(x)$

没有简单的显式表达式,所以它需要用一定的数值方法进行计算。在大部分的科学计算软件中,计算的精度往往是第一位的,因此其算法一般会比较复杂。当这个函数需要被计算成千上万次的时候,速度可能就成为了一个瓶颈。

当然有问题就会有对策,一种常见的做法是略微放弃一些精度,以换取更简单的计算。在大部分实际应用中,一个合理的误差大小,例如

$10^{-7}$,一般就足够了。在这篇文章中,给大家介绍两种简单的方法,它们都比R中自带的 pnorm() 更快,且误差都控制在

$10^{-7}$ 的级别。

第一种办法来自于经典参考书 Abramowitz and Stegun: Handbook of

Mathematical Functions 的 公式

26.2.17 。其基本思想是把 $\Phi(x)$ 表达成正态密度函数 $\phi(x)$

和一个有理函数的乘积。这种办法可以保证误差小于 $7.5\times

10^{-8}$,一段C++实现可以在 这里 找到。(代码中的常数与书中的略有区别,是因为代码是针对误差函数

$\mathrm{erf}(x)$ 编写的,它与 $\Phi(x)$ 相差一些常数)

我们来对比一下这种方法与R中 pnorm() 的速度,并验证其精度。

library(Rcpp)

sourceCpp("test_as26217.cpp") x = seq(-6, 6, by = 1e-6) system.time(y

可以看出,A&S 26.2.17

的速度大约是 pnorm() 的三倍,且误差也在预定的范围里,是对计算效率的一次巨大提升。

那么还有没有可能更快呢?答案是肯定的,而且你其实已经多次使用过这种方法了。怎么,不相信?看看下面这张图,你就明白了。

没错,这种更快的方法其实就是两个字:查表。它的基本想法是,我们预先计算好一系列的函数取值

$(x_i,\Phi(x_i))$,然后当我们需要计算某个点 $x_0$ 时,就找到离它最近的两个点 $x_k$ 和

$x_{k+1}$,再用线性插值的方法得到 $\Phi(x_0)$ 的近似取值:

什么?觉得这个方法太简单了?先别急,这里面还有不少学问。之前我们""说了,我们需要保证这种方法的误差不超过

$\epsilon=10^{-7}$,因此就需要合理地选择预先计算的点。由于

$\Phi(-x)=1-\Phi(x)$,我们暂且只需要考虑 $x$ 为正的情况。如果让 $x_i =

ih,i=0,1,\ldots,N$,那么对函数 $f$

进行线性插值的误差将不超过( 来源 )

其中 $\Vert f’’ \Vert_{\infty}$ 是函数二阶导绝对值的最大值。对于正态分布函数来说,它等于

$\phi(1)\approx 0.242$。于是令 $E(x)=10^{-7}$,我们就可以解出 $h\approx

0.001818$。最后,只要 $x_N>5.199$,即 $N\ge 2860$ 并另所有 $x>x_N$

的取值等于1,就可以保证整个实数域上 $\Phi(x)$ 的近似误差都不超过 $10^{-7}$。

这种简单方法的实现我放在了 Github

上 ,源程序和测试代码也可以在文章最后找到。下面给出它的表现:

library(Rcpp)

sourceCpp("test_fastncdf.cpp") x = seq(-6, 6, by = 1e-6) system.time(fasty

与之前的结果相比,相当于速度是 pnorm() 的15倍!

我们似乎一直以为,在计算机和统计软件普及以后,一些传统的做法就会慢慢被淘汰,例如现在除了考试,或许大部分的时间我们都是在用软件而不是正态概率表。从教学与实际应用的角度来看,这种做法是 应该进行推广和普及的 ,但这也不妨碍我们从一些“旧知识”中汲取营养。关于这种大巧若拙的做法的故事还有很多,比如广为流传的 这一则 。在计算资源匮乏的年代,数据科学家"数据分析师"们想出了各种巧妙的办法来解决他们遇到的各种问题。现如今计算机的性能已经远不是当年可以媲迹,但前人的很多智慧却依然穿透了时间来为现在的我们提供帮助,不得不说这也是一种缘分吧。http://cda.pinggu.org/view/17447.html

标准正态分布怎么算_标准正态分布函数的快速计算方法相关推荐

  1. 标准正态分布怎么算_求标准正态分布N(0,1)的特征函数.这个是怎么算出来的啊,...

    优质解答 C(u)=E(j*u*X)=1/√(2*π)∫{-∞,+∞}e^(j*u*x-x²/2)dx,直接积分较困难 由于d[e^(j*u*x-x²/2)]/dx=(j*u-x)*e^(j*u*x- ...

  2. java实现正态分布累积分布_标准正态分布变量的累积概率分布函数

    最近有个期权项目,计算理论价时需要使用标准正态分布变量的累积概率分布函数,excel中可以通过normsdist函数得到该结果,但是项目不考虑调用excel公式,于是只能用java来实现这个公式. 先 ...

  3. 如何把密度函数化为标准正态二维分布_电气工程正态分布简介

    本文介绍了基础统计分布的重要特征,并说明了概率密度函数的重要性. 本文是我们关于电气工程统计的系列文章的续篇.前两篇文章讨论了统计分析和统计性描述,为我们的讨论奠定了基础. 然后,我们研究了信号处理中 ...

  4. 如何把密度函数化为标准正态二维分布_高中就开始学的正态分布,原来如此重要...

    选自Medium 作者:Farhad Malik 机器之心编译 参与:李诗萌.张倩 我们从高中就开始学正态分布,现在做数据分析.机器学习还是离不开它,那你有没有想过正态分布有什么特别之处?为什么那么多 ...

  5. 如何把密度函数化为标准正态二维分布_概率论复习(4): 正态分布

    本节目录 正态分布和相关定义 一元正态分布的性质 多元正态分布的性质 正态分布和相关定义 首先是一个重要的积分, 即泊松积分, 它在求有关正态分布的一些量时往往有强大的作用. 引理4.1.1 设 , ...

  6. python绘制正态分布函数_学好正态分布有多重要?

    作者 | Farhad Malik 译者 | Monanfei 责编 | 夕颜 出品 | AI科技大本营(ID: rgznai100) 为什么正态分布如此特殊?为什么大量数据科学和机器学习的文章都围绕 ...

  7. arctanx麦克劳林公式推导过程_多元正态分布的推导、n维球体积面积的计算

    欢迎指正. 研究计划写到心累,大家读过的关于机器学习的图像识别的综述类论文私我看一下啊. 一维正态分布推广到多维正态分布 推导过程中会加入推导所必需的理论 从一维标准正态分布说起, ,其概率密度函数为 ...

  8. 用于生成随机数的python标准库模块是_详解Python基础random模块随机数的生成

    详解Python基础random模块随机数的生成 来源:中文源码网    浏览: 次    日期:2019年11月5日 [下载文档:  详解Python基础random模块随机数的生成.txt ] ( ...

  9. 离散ziggurat算法python实现_漫谈正态分布的生成

    本文作者简介:王夜笙,就读于郑州大学信息工程学院,感兴趣的方向为逆向工程和机器学习,长期从事数据抓取工作(长期与反爬虫技术作斗争~),涉猎较广(技艺不精--),详情请见我的个人博客~ 感谢怡轩同学的悉 ...

  10. 正态分布(高斯分布)、Q函数、误差函数、互补误差函数(定义,意义及互相之间的关系)高斯分布的分布概率反解

    1.正态分布 参考博客:https://www.cnblogs.com/htj10/p/8621771.html 概率密度函数的意义:理解概率密度函数 - 知乎 (zhihu.com) 若随机变量 服 ...

最新文章

  1. 虚拟机下CentOS 6.5配置IP地址的三种方法
  2. Vue2.0中引入element-ui
  3. Kali Linux安装中文输入法
  4. tcpdump一些选项的使用
  5. RHEL 5基础篇—常见系统启动类故障
  6. linux 在家工作_我如何调整在家工作的习惯
  7. HTTP Error 502.5 - Process Failure 解决方案
  8. MySQL中的DATE_SUB()函数和DATE_ADD()函数
  9. Gym - 101194F(后缀数组)
  10. Apache Qpid:一个AMQP的开源实现
  11. 开源的东西,只是用来参考学习,要商用路途遥远
  12. 从事游戏开发怎么入门
  13. linux如何查询文件及文件夹大小
  14. 密歇根州立大学计划投入4600万美元建设新数据中心
  15. 人机交互-13-复习总览
  16. 语言在工作中扮演的角色
  17. MUI-设置沉浸式状态栏
  18. SLB负载均衡和DNS协议
  19. BYOD——自带设备
  20. 多级树形目录mysql的使用_实现树形的遍历(关于多级菜单栏以及多级上下部门的查询问题)...

热门文章

  1. 【螺钉和螺母问题】【算法分析与设计】假设我们有n个直径各不相同的螺钉以及n个相应的螺母...
  2. Spark实现jieba中文分词(scala)
  3. 计算机网络(一)图解:计算机网络五层体系结构
  4. 软件设计师备考全攻略(附本人笔记)
  5. IPX/SPX 协议
  6. 九宫格日记 2017年12月19日(周二)
  7. 远程桌面访问软件:TeamViewer
  8. MSN Messenger 协议
  9. IT从业者创业公司生存指南:创业后记 ---- 百感交集的过来人
  10. 电驴搜索服务器正在连接,电驴连接不上服务器怎么解决?