学习模式上的记录之统计篇三 置换检验 Permutation Test
偶然间看到有人用置换检验，上午看了下基础的讲解，先记录下来以便于自己理解。
讲解内容最初看的是这个网站 置换检验可视化讲解
置换检验是一种非参数检验，也就是对数据的分布、方差等没有要求。
复习
可能有些小同志看到这里不太清楚什么是非参数检验，以后每次写到我都会提一下。
先说假设检验，假设检验是指从对总体参数所做的一个假设开始，然后搜集样本数据，计算出样本统计量，进而运用这些数据测定假设的总体参数在多大程度上是可靠的，并做出承认还是拒绝该假设的判断。
若进行假设检验时总体的分布形式已知，需要对总体的未知参数进行假设检验，称其为参数假设检验；
若对总体分布形式所知甚少，需要对未知分布函数的形式及其他特征进行假设检验，通常称之为非参数检验。
此外，根据研究者兴趣的备择假设的内容不同，假设检验还可分为单侧检验（单尾检验）和双侧检验（双尾检验），而单侧检验又分为左侧检验和右侧检验。
PS：
线性回归的前提假设可总结为 LINE 四原则：
L：Linearity 线性 因变量和每个自变量都是线性关系
I：Independence 独立性 对于所有的观测值，他们的误差项相互之间是独立的
N：Normality 正态性 误差项服从正态分布
E：Equal-Variance 等方差 所有的误差项具有同样方差
置换检验，顾名思义，是对一个样本进行多次随机排列permute，对此比较均值得到的结果，一般用于样本量较小或采集样本收到限制，不能采集大量样本的时候，有点儿类似于蒙特卡洛方法。
上面那个链接里的讲解还算比较好懂。大概复述如下：
假设我是一个牧羊人，比较注重羊毛的质量，现在镇子上新进了一批洗毛膏，我要经过尝试，才知道这批产品的是否真的可以提高我的羊毛质量，我有一种方法可以测试羊毛质量，此数值越高，羊毛质量越好，暂称为毛质指标MC（此名称没有实际意义，是我自己瞎编的）。我有100只羊，并且有两只牧羊犬。
我买了洗毛膏，把羊群随机分成两组，控制组和处理组，处理组使用新买的洗毛膏洗一洗。现在我做出原假设，也就是null hypothesis: 洗毛膏没用，量化的指标就是
ΔMC=MC(treatment)-MC(control) ≤ 0
相应的，备择假设就是洗毛膏有用。
做出此种原假设的逻辑其实也很简单：如果原假设为真，那么，之后我再怎么随意分开两批羊群，对结果都不会有影响。
现在我已经用洗毛膏洗好了一批羊，这些处理羊跟控制羊混杂在一起，下面我随意地隔开整个羊群为两批，分处在两个栅栏里，这两个栅栏虽然都有各自的名称，一个是treatment，一个是control，但因为我的人工处理，里面可能混杂了处理过的和没处理过的。每处理一次，我就会对两个栅栏内的MC做计算，并计算出ΔMC，随着我的处理次数增多，那么我将得到ΔMC的数据分布，一张概率密度图。这就是接下来的判断基础了。
我要知道，ΔMC是否显著，再提一下 p-value，虽然这个概念已经被用烂了。
p-value代表原假设为真的情况下，出现观测值的概率，那我们怎么判断这个概率呢？一般是自己假定一个显著性水平，也就是α，来跟 p-value 做比较，如果 p < α，那么，我们就认为在原假设为真的前提下，出现观测值是一种小概率事件，然而，即使它是小概率事件，却被我们观测到了，因此我们有理由认为原假设有问题，就拒绝原假设。
在这种情况下，我们用我们已知的treatment里处理羊和control里控制羊的MC来计算一个数值x，计算这个数值的概率，其实也就是频率，x/X，这就是p，用这个与α比较，如果 p<α，那就意味着：
在原假设，也就是洗毛膏没用的前提下，我观测到了一种洗毛膏有用的现象，然而在前提成立的时候，是不太可能观测到的，因此拒绝这个原假设，认为洗毛膏有用。
我的羊毛可以卖到更好的价钱了。
突然想到，这种洗毛膏的成本增加和我的羊毛出售价增加之间肯定也有一个可以描述的函数，但在这里就先不涉及了。
以上。
这只是置换假设的原理，实际操作的时候，可以采用交互性较好的R来试试。在下一篇内容中可能会讲到。
学习模式上的记录之统计篇三 置换检验 Permutation Test相关推荐
- 学习模式上的记录之统计篇二 Sigmaplot 非线性回归报告分析
先说下线性回归的前提假设(LINE): L:Linearity 线性 因变量和每个自变量都是线性关系 I:Independence 独立性 对于所有的观测值,他们的误差项相互之间是独立的 N:Norm ...
- 100内奇数之和流程图_Python进阶记录之基础篇（四）
回顾 在Python进阶记录之基础篇(三)中,我们介绍了Python中分支结构if语句的相关知识以及输入函数input()的基本用法.if语句在我们日后的编程中会经常使用到,今天我们讲一下另一个重要的 ...
- docker omv 防火墙_我的软路由折腾之旅 篇三：在openmediavault上通过Docker实现OPENWRT旁路由功能...
我的软路由折腾之旅 篇三:在openmediavault上通过Docker实现OPENWRT旁路由功能 2020-06-20 11:28:38 57点赞 415收藏 74评论 你是AMD Yes党?还 ...
- 小学二年级上学期计算机教案,小学二年级上学期信息技术教案范文【三篇】
[导语]在实际教学活动中,教案起着十分重要的作用.编写教案有利于教师弄通教材内容,准确把握教材的重点与难点,进而选择科学.恰当的教学方法,有利于教师科学.合理地支配课堂时间,更好地组织教学活动,提高教 ...
- [网络安全自学篇] 三十.文件上传漏洞、编辑器漏洞和IIS高版本漏洞及防御（三）
这是作者的系列网络安全自学教程,主要是关于安全工具和实践操作的在线笔记,特分享出来与博友共勉,希望您们喜欢,一起进步.前文分享了文件上传漏洞和IIS6.0解析漏洞,包括PHP345文件绕过上传.Win ...
- Android日志[进阶篇]三-Logcat 命令行工具
Android日志[进阶篇]一-使用 Logcat 写入和查看日志 Android日志[进阶篇]二-分析堆栈轨迹(调试和外部堆栈) Android日志[进阶篇]三-Logcat命令行工具 Androi ...
- 【Linux 性能优化系列】Linux 性能优化 -- CPU 性能篇(三) Linux 软中断
[Linux 性能优化系列]Linux 性能优化 -- CPU 性能篇(三) Linux 软中断 [1]相关概念 [1.1]中断 中断其实是一种异步的事件处理机制,可以提高系统的并发处理能力:为了减少 ...
- 2019尚硅谷大数据Javaweb篇三 Ajax、JSTL、会话技术、过滤器、监听器、xml、json
2019尚硅谷大数据 Javaweb篇三Ajax.JSTL.会话技术.过滤器.监听器 tags: 大数据 2019尚学堂 categories: Ajax异步请求 JSTL中的if和forEach 会 ...
- 科沃斯机器人拆解_周末清洁大会战 篇三十七：科沃斯扫地机器人朵朵S四年后的配件选购及终极清洁与拆解，以后不坏不拆，至死不渝！...
周末清洁大会战 篇三十七:科沃斯扫地机器人朵朵S四年后的配件选购及终极清洁与拆解,以后不坏不拆,至死不渝! 2020-05-25 14:24:35 3点赞 6收藏 0评论 前言 科沃斯扫地机器人朵朵S ...
最新文章
- android启用其他应用程序,杀死Android上的另一个应用程序？
- python 通过shutil.move移动图片出错xe5\xb8\xb8\xe7
- Docker 极简入门教程，傻瓜都能看懂！
- pythonrequests解析_Python requests获取网页常用方法解析
- 基于Java的设计开题报告_基于Java的电子邮件的收发系统的设计与实现开题报告...
- golang web php,GitHub - kai-xx/goWeb: golang web 接口实现 -- 类似PHP的laravel
- adb push ,adb pull和adb install的区别
- android电话系统,Android电话系统之-rild.doc
- 微信群接龙报名小程序功能模块源码V1.1.38
- Mac x 10.12.4 如何安装sshfs
- linux u盘无损分区,Unix/Linux无损分区解决方案[原创]
- 在ubuntu上卸载anaconda
- KVM虚拟机迁移具体步骤
- TTL转RS232电路
- 中介分析（二）： 多重中介分析
- ssh连接openwrt_如何将SSH无密码连接到OpenWrt路由器？
- 蔡康永般“好好说话”？百度发起猛攻 推249元小度音箱
- 计算机常见总线插槽,“插槽”和“总线”的定义_CPUCPU评测-中关村在线
- 长期置顶：作为一个技术人，你为什么有时间写博客？准备应对未来的中年危机
- Controller规范，摘自晓风轻专栏