计算统计-Chap6 推断统计的蒙特卡罗方法 (3)蒙特卡罗方法
很多时候,我们不清楚统计量的分布,或不确定对它所作的假设是否合理。蒙特卡罗模拟可以处理这些情况,它的应用包括:
1)当待检测统计量(the test statistics)从未知时,进行推断
2)当参数假设(parametric assumptions),评估推断方法的性能
3)在各种情况下进行假设检验
4)比较不同检测子(estimator)的质量
1.基本蒙特卡罗过程
用于推断统计的蒙特卡罗模拟的根本思想是:统计量的特征可通过从相同总体中重复抽样,并观察统计量在这些样本上的表现来获得。
第一步是决定一个伪总体(pseudo-population),假设它可以表达真实总体。这里“伪”是为了强调样本是利用计算机和伪随机数生成的。同时,这里讨论的蒙特卡罗模拟类型都是参数化的技术,应为都是从已知的或假设的分布中抽样。具体步骤:
1)确定伪总体,或可表达真实分布的模型
2)从伪总体中抽样
3)计算统计量的值
4)重复2、3,进行M次实验
5)利用4中获得的M个统计量值来研究统计量的分布
需要注意的是:从伪总体中抽样时,要保证所有相关特征反映同样的统计状况。例如,相同的样本大小和抽样策略。这意味着,通过此方法获得的统计量分布仅对此抽样过程和伪总体假设有效。
最后一步就是利用对统计量分布的估计来研究感兴趣的统计特征。如估计偏度、峰度、标准差等。
2.蒙特卡罗假设检验
在统计假设检验中,利用检验统计量null hypothesis应该被拒绝或接受的信度。当观测到检验统计量的值后,需要通过判断这个值是否与null hypothesis一致。估计检验统计量在null hypothesis下的分布是蒙特卡罗假设检验的目标之一。
回顾假设检验的critical value approach:首先给定置信水平(significance level)a;然后利用此a找到在null hypothesis为真下检验统计量分布上的置信区间(critical region)。而在蒙特卡罗方法中,我们利用假设统计量的估计分布来确定置信值的,步骤如下:
1)利用总体的大小为n的随机样本(这时实际观测的数据),计算检验统计量的观测值
2)确定一个能反映null hypothesis为真下真实总体特征的伪总体
3)从伪总体中抽样n次,形成大小为n的随机样本
4)利用3中的随机样本,计算检验统计量的值
5)重复3和4共M次,获得值
,它们就是对null hypothesis为真条件下的检验统计量分布的估计
6)获得对于给定置信水平a下的critical value
Lower Tail Test: get the a-th sample quantile,
, from the
.
Upper Tail Test: get the (1-a)-th sample quantile,, from the
.
Two-Tail Test: get the sample quantilesand
from the
.
7)若
落入判决区间,则拒绝null hypothesis
例:关于总体均值的假设检验。数据mcdata有25条记录;null and alternative hypotheses为: ;检验统计量为
。分析过程如下:
1)计算检验统计量的观测值
2)确定
的正态分布为伪总体的分布模型(即null hypothesis为真条件下的检验统计量的分布)。通过绘制下面的qq图,从而验证此模型的合理性。
3)重复1000次实验。每此都从null hypothesis(正态分布
)为真条件下的检验统计量分布抽样,并计算检验统计量的值,Tm中保存了检验统计量的估计分布
M = 1000;% Number of Monte Carlo trials % Storage for test statistics from the MC trials. Tm = zeros(1,M); % Start the simulation. for i = 1:M% Generate a random sample under H_0% where n is the sample size.xs = sigma*randn(1,n) + 454;Tm(i) = (mean(xs) - 454)/sigxbar; end
4)估计lower tail的critical value,得到它为
% Get the critical value for alpha.
% This is a lower-tail test, so it is the
% alpha quantile.
alpha = 0.05;
cv = csquantiles(Tm,alpha);5)因为检验统计量的观测值
小于估计的cirital value(
),从而拒绝
转载于:https://www.cnblogs.com/pegasus/archive/2011/01/16/1936580.html
计算统计-Chap6 推断统计的蒙特卡罗方法 (3)蒙特卡罗方法相关推荐
- 计算统计-Chap6 推断统计的蒙特卡罗方法 (1)引言
推断统计(inferential statistics)用于形成关于总体(population)的结论,并且利用随机样本对这些结论的可信度进行评价,相关技术包括:利用点估计来估计总体参数,估计参数的置 ...
- python做线性回归统计推断提取参数_概率分析方法与推断统计(来自我写的python书)...
在数据分析统计的场景里,常用的方法除了描述性统计方法外,还有推断统计方法,如果再从工作性质上来划分,推断统计包含了参数估计和假设验证这两方面的内容.而推断统计用到了很多概率统计方法,所以本小节在介绍推 ...
- 概率分析方法与推断统计(来自我写的python书)
在数据分析统计的场景里,常用的方法除了描述性统计方法外,还有推断统计方法,如果再从工作性质上来划分,推断统计包含了参数估计和假设验证这两方面的内容.而推断统计用到了很多概率统计方法,所以本小节在介绍推 ...
- 99分位、95分位计算 实时分位数的统计方法
之前做的一个项目上线有一段时间了,但一直也没有来得及做统计分析(峰值.平均QPS.--).最近刚好又被问到了这个事情,所以抽空学习了解一下部分监控指标的概念和含义,方便后续自己做统计分析. 一.分位数 ...
- Python科学计算库 — Pandas数学统计方法
首先导入pandas库 import numpy as np import pandas as pd Pandas 常用的数学统计方法如下表: 方法 说明 count 计算非NA值的数量 descri ...
- linux计算字符串个数,Linux 统计某个字符串个数的方法
在 Linux 系统下,有时候,我们可能要对一个日志文件进行分析.比如,分析日志文件中某个单词或者某个特殊字符串出现了多少次. 对于匹配统计,一般用到正则方法,下面总结了几个统计字符串个数的方法. 方 ...
- 推断统计python化(参数估计,假设检验与 t检验)
目录 1.参数估计 1.1 点估计 1.2 区间估计 1.2.1 区间估计概述 1.2.2 区间估计的方法 1.3 进行区间估计的Python函数 2. 案例分析 3. 假设检验 3.1 假设检验概述 ...
- 《大数据分析原理与实践》一一2.3 推断统计
2.3 推断统计 推断统计是研究如何利用样本数据来推断总体特征的统计方法,其目的是利用问题的基本假定及包含在观测数据中的信息,做出尽量精确和可靠的结论.基本特征是其依据的条件中包含带随机性的观测数据. ...
- 推断统计:参数估计和假设检验
目录 1.总体.个体.样本和样本容量 1)总体.个体.样本和样本容量的概念 2)本文章使用的相关python库 2.推断统计的概念 1)推断统计的概念 2)为什么要进行 ...
最新文章
- cisco中的igrp笔记
- Delphi 多文件拖放获取路径示例
- hdu5446(2015长春网络赛J题)
- PMP每日三题(2022年2月15日)
- [转载] python循环中break、continue 、exit() 、pass的区别
- python shell怎么打开测试,python脚本第一篇,运行时间测试
- __declspec(novtable)有什么作用
- Linux 中的 fold 命令详解及C/C++代码实现
- 360浏览器出现https证书错误怎么办
- 节奏大师小游戏制作流程
- 招商银行的“金融+知识”:知其然,更要知其所以然
- Vivo手机获取文件管理器里的文件路径为空
- byte json 互转_Json互转
- 古文觀止卷九_永州韋使君新堂記_柳宗元
- 常用离子液体有哪些?粘度和密度是多少?(解答)
- OA系统,打造用户满意的信息化管理平台
- gdal命令实操专题——ogrinfo命令(转)
- idea 社区版 反向代理工具激活jrebel
- C语言程序设计作业07:第十六周作业
- 【Bulk Crap Uninstaller】最重量级Windows卸载器
热门文章
- 简单查询多个宅急送物流详情,并分析派件延误
- ECS的简单入门(四):System
- 方程式工具包Linux,NSA工具包验证之SMB漏洞利用
- Java登录页面实时验证用户名密码和动态验证码
- 阿里maven镜像无法使用 导入jar失败 创建项目失败 Could not transfer metadata org. apache. maven. plugi ns:
- 第十四届蓝桥杯三月真题刷题训练——第 13 天
- 使用STVP菜单乱码阴影很乱变坏等情况
- 百度员工一年挣多少钱?聊聊百度的薪资职级体系
- 2018汽车之家汽车品牌、车型数据库采集带品牌logo以及车型图
- 微信公众号发送模板消息,发送消息到某个用户