很多时候,我们不清楚统计量的分布,或不确定对它所作的假设是否合理。蒙特卡罗模拟可以处理这些情况,它的应用包括:

1)当待检测统计量(the test statistics)从未知时,进行推断

2)当参数假设(parametric assumptions),评估推断方法的性能

3)在各种情况下进行假设检验

4)比较不同检测子(estimator)的质量

1.基本蒙特卡罗过程

用于推断统计的蒙特卡罗模拟的根本思想是:统计量的特征可通过从相同总体中重复抽样,并观察统计量在这些样本上的表现来获得。

第一步是决定一个伪总体(pseudo-population),假设它可以表达真实总体。这里“伪”是为了强调样本是利用计算机和伪随机数生成的。同时,这里讨论的蒙特卡罗模拟类型都是参数化的技术,应为都是从已知的或假设的分布中抽样。具体步骤:

1)确定伪总体,或可表达真实分布的模型

2)从伪总体中抽样

3)计算统计量的值

4)重复2、3,进行M次实验

5)利用4中获得的M个统计量值来研究统计量的分布

需要注意的是:从伪总体中抽样时,要保证所有相关特征反映同样的统计状况。例如,相同的样本大小和抽样策略。这意味着,通过此方法获得的统计量分布仅对此抽样过程和伪总体假设有效。

最后一步就是利用对统计量分布的估计来研究感兴趣的统计特征。如估计偏度、峰度、标准差等。

2.蒙特卡罗假设检验

在统计假设检验中,利用检验统计量null hypothesis应该被拒绝或接受的信度。当观测到检验统计量的值后,需要通过判断这个值是否与null hypothesis一致。估计检验统计量在null hypothesis下的分布是蒙特卡罗假设检验的目标之一

回顾假设检验的critical value approach:首先给定置信水平(significance level)a;然后利用此a找到在null hypothesis为真下检验统计量分布上的置信区间(critical region)。而在蒙特卡罗方法中,我们利用假设统计量的估计分布来确定置信值的,步骤如下:

1)利用总体的大小为n的随机样本(这时实际观测的数据),计算检验统计量的观测值

2)确定一个能反映null hypothesis为真下真实总体特征的伪总体

3)从伪总体中抽样n次,形成大小为n的随机样本

4)利用3中的随机样本,计算检验统计量的值

5)重复3和4共M次,获得值 ,它们就是对null hypothesis为真条件下的检验统计量分布的估计

6)获得对于给定置信水平a下的critical value

Lower Tail Test: get the a-th sample quantile, , from the.
    Upper Tail Test: get the (1-a)-th sample quantile, , from the.
    Two-Tail Test: get the sample quantiles and from the.

7)若落入判决区间,则拒绝null hypothesis

例:关于总体均值的假设检验。数据mcdata有25条记录;null and alternative hypotheses为: ;检验统计量为 。分析过程如下:

1)计算检验统计量的观测值

2)确定 的正态分布为伪总体的分布模型(即null hypothesis为真条件下的检验统计量的分布)。通过绘制下面的qq图,从而验证此模型的合理性。

3)重复1000次实验。每此都从null hypothesis(正态分布 )为真条件下的检验统计量分布抽样,并计算检验统计量的值,Tm中保存了检验统计量的估计分布

M = 1000;% Number of Monte Carlo trials
% Storage for test statistics from the MC trials.
Tm = zeros(1,M);
% Start the simulation.
for i = 1:M% Generate a random sample under H_0% where n is the sample size.xs = sigma*randn(1,n) + 454;Tm(i) = (mean(xs) - 454)/sigxbar;
end
4)估计lower tail的critical value,得到它为 

% Get the critical value for alpha.
% This is a lower-tail test, so it is the
% alpha quantile.
alpha = 0.05;
cv = csquantiles(Tm,alpha);

5)因为检验统计量的观测值小于估计的cirital value(),从而拒绝

转载于:https://www.cnblogs.com/pegasus/archive/2011/01/16/1936580.html

计算统计-Chap6 推断统计的蒙特卡罗方法 (3)蒙特卡罗方法相关推荐

  1. 计算统计-Chap6 推断统计的蒙特卡罗方法 (1)引言

    推断统计(inferential statistics)用于形成关于总体(population)的结论,并且利用随机样本对这些结论的可信度进行评价,相关技术包括:利用点估计来估计总体参数,估计参数的置 ...

  2. python做线性回归统计推断提取参数_概率分析方法与推断统计(来自我写的python书)...

    在数据分析统计的场景里,常用的方法除了描述性统计方法外,还有推断统计方法,如果再从工作性质上来划分,推断统计包含了参数估计和假设验证这两方面的内容.而推断统计用到了很多概率统计方法,所以本小节在介绍推 ...

  3. 概率分析方法与推断统计(来自我写的python书)

    在数据分析统计的场景里,常用的方法除了描述性统计方法外,还有推断统计方法,如果再从工作性质上来划分,推断统计包含了参数估计和假设验证这两方面的内容.而推断统计用到了很多概率统计方法,所以本小节在介绍推 ...

  4. 99分位、95分位计算 实时分位数的统计方法

    之前做的一个项目上线有一段时间了,但一直也没有来得及做统计分析(峰值.平均QPS.--).最近刚好又被问到了这个事情,所以抽空学习了解一下部分监控指标的概念和含义,方便后续自己做统计分析. 一.分位数 ...

  5. Python科学计算库 — Pandas数学统计方法

    首先导入pandas库 import numpy as np import pandas as pd Pandas 常用的数学统计方法如下表: 方法 说明 count 计算非NA值的数量 descri ...

  6. linux计算字符串个数,Linux 统计某个字符串个数的方法

    在 Linux 系统下,有时候,我们可能要对一个日志文件进行分析.比如,分析日志文件中某个单词或者某个特殊字符串出现了多少次. 对于匹配统计,一般用到正则方法,下面总结了几个统计字符串个数的方法. 方 ...

  7. 推断统计python化(参数估计,假设检验与 t检验)

    目录 1.参数估计 1.1 点估计 1.2 区间估计 1.2.1 区间估计概述 1.2.2 区间估计的方法 1.3 进行区间估计的Python函数 2. 案例分析 3. 假设检验 3.1 假设检验概述 ...

  8. 《大数据分析原理与实践》一一2.3 推断统计

    2.3 推断统计 推断统计是研究如何利用样本数据来推断总体特征的统计方法,其目的是利用问题的基本假定及包含在观测数据中的信息,做出尽量精确和可靠的结论.基本特征是其依据的条件中包含带随机性的观测数据. ...

  9. 推断统计:参数估计和假设检验

    目录   1.总体.个体.样本和样本容量    1)总体.个体.样本和样本容量的概念    2)本文章使用的相关python库   2.推断统计的概念    1)推断统计的概念    2)为什么要进行 ...

最新文章

  1. cisco中的igrp笔记
  2. Delphi 多文件拖放获取路径示例
  3. hdu5446(2015长春网络赛J题)
  4. PMP每日三题(2022年2月15日)
  5. [转载] python循环中break、continue 、exit() 、pass的区别
  6. python shell怎么打开测试,python脚本第一篇,运行时间测试
  7. __declspec(novtable)有什么作用
  8. Linux 中的 fold 命令详解及C/C++代码实现
  9. 360浏览器出现https证书错误怎么办
  10. 节奏大师小游戏制作流程
  11. 招商银行的“金融+知识”:知其然,更要知其所以然
  12. Vivo手机获取文件管理器里的文件路径为空
  13. byte json 互转_Json互转
  14. 古文觀止卷九_永州韋使君新堂記_柳宗元
  15. 常用离子液体有哪些?粘度和密度是多少?(解答)
  16. OA系统,打造用户满意的信息化管理平台
  17. gdal命令实操专题——ogrinfo命令(转)
  18. idea 社区版 反向代理工具激活jrebel
  19. C语言程序设计作业07:第十六周作业
  20. 【Bulk Crap Uninstaller】最重量级Windows卸载器

热门文章

  1. 简单查询多个宅急送物流详情,并分析派件延误
  2. ECS的简单入门(四):System
  3. 方程式工具包Linux,NSA工具包验证之SMB漏洞利用
  4. Java登录页面实时验证用户名密码和动态验证码
  5. 阿里maven镜像无法使用 导入jar失败 创建项目失败 Could not transfer metadata org. apache. maven. plugi ns:
  6. 第十四届蓝桥杯三月真题刷题训练——第 13 天
  7. 使用STVP菜单乱码阴影很乱变坏等情况
  8. 百度员工一年挣多少钱?聊聊百度的薪资职级体系
  9. 2018汽车之家汽车品牌、车型数据库采集带品牌logo以及车型图
  10. 微信公众号发送模板消息,发送消息到某个用户