零空间,Markov‘s inequality, Chebyshev Chernoff Bound, Union Bound
0. 零空间
零空间是在线性映射(即矩阵)的背景下出现的,指:像为零的原像空间,即{x| Ax=0}。
在数学中,一个算子 A 的零空间是方程 Av = 0 的所有解 v 的集合。它也叫做 A 的核,核空间。如果算子是在向量空间上的线性算子,零空间就是线性子空间。因此零空间是向量空间。
1 马尔科夫不等式
切比雪夫不等式是马尔科夫不等式的特殊情况,所以我们先来看看马尔科夫不等式。
1.1 马尔科夫不等式与直观感受
来感受一下马尔科夫不等式:
可见,越大于平均值,概率越低。
1.2 马尔科夫不等式与年薪百万
看看这个怎么去计算百万年薪的概率。
1.3 马尔科夫不等式的证明
2. Chebyshev
Chebyshev bounds give an upper bound on the probability of a set based on known expected values of certain functions (e.g., mean and variance).
The simplest example is Markov’s inequality.
2.1 Chebyshev distance
数学上,切比雪夫距离(Chebyshev distance)或是L∞度量是向量空间中的一种度量,二个点之间的距离定义为其各座标数值差的最大值。以(x1,y1)和(x2,y2)二点为例,其切比雪夫距离为max(|x2-x1|,|y2-y1|)。切比雪夫距离得名自俄罗斯数学家切比雪夫。
若将国际象棋棋盘放在二维直角座标系中,格子的边长定义为1,座标的x轴及y轴和棋盘方格平行,原点恰落在某一格的中心点,则王从一个位置走到其他位置需要的步数恰为二个位置的切比雪夫距离,因此切比雪夫距离也称为棋盘距离[3]。例如位置F6和位置E2的切比雪夫距离为4。任何一个不在棋盘边缘的位置,和周围八个位置的切比雪夫距离都是1。
2.2 切比雪夫(Chebyshev)定理
在总体分布未知(或非正态)且样本容量小于30时,均值的抽样分布是未知的,这时我们就不能运用中心极限定理、t分布和大样本理论来估计总体的均值,此时,可以运用切比雪夫(Chebyshev)定理来近似估计总体均值。
切比雪夫不等式是马尔科夫不等式的特殊情况,而且还有进一步的关系:这两个不等式的作者是师生关系。
马尔科夫不等式是以俄国数学家安德雷·马尔可夫命名的。
切比雪夫不等式是以马尔科夫的老师巴夫尼提·列波维奇·切比雪夫命名的。
切比雪夫不等式,描述了这样一个事实,事件大多会集中在平均值附近。
2.2.1 切比雪夫不等式与直观感受
可见,越远离平均值,概率越低。
2.2.2 切比雪夫不等式与年薪百万
2.2.3 切比雪夫不等式的证明
%%%%%%%%%%%%%%%%
2.2.1 切比雪夫(Chebyshev)定理/不等式:
设X是一个随机变数,取区间(0,∞)上的值,F(x)是它的分布函数,设Xα(α >0)的数学期望M(Xα )存在,a>0,则不等式成立。这叫做切比雪夫定理,或者切比雪夫不等式。
2.2.2 切比雪夫不等式的提出
19世纪俄国数学家切比雪夫研究统计规律中,论证并用标准差表达了一个不等式,这个不等式具有普遍的意义,被称作切比雪夫定理,其大意是:任意一个数据集中,位于其平均数m个标准差范围内的比例(或部分)总是至少为1-1/m2,其中m为大于1的任意正数。对于m=2,m=3和m=5有如下结果:
所有数据中,至少有3/4(或75%)的数据位于平均数2个标准差范围内。
所有数据中,至少有8/9(或88.9%)的数据位于平均数3个标准差范围内。
所有数据中,至少有24/25(或96%)的数据位于平均数5个标准差范围内。
2.2.3 例题分析
一种新的心脏手术正在一家医院推广,对于已完成的20例这种手术,平均住院期为14.3天,标准差为2.84天,因为手术复杂,住院期天数的总体不服从正态分布,而是有些正偏,总体标准差未知,求总体均值的90%近似置信区间。
如果可以假设该总体是正态的,即能够使用t分布方法,则可以得到有更高精度的精确90%置信区间:
对比用切比雪夫不等式和t分布的结果,可以说明前者是对总体均值的近似,后者是对总体均值的精确。(见总体均值估计方法表)
2.2.4 多面体的Chebyshev中心
2.3 总结
如果我们把人群的收入分布计算出来,我估计应该是个正态分布,那么年入百万的概率就更低了,知乎有人算出来是 万分之四 。
所以马尔科夫不等式、切比雪夫不等式只是对概率的一个估计,有可能不是很准确,但总比瞎想要准确。
百万年薪固然很难,但是根据 贝叶斯定理 ,或许增加一些条件,可以大大增加概率:
接受好的教育,不能就读名校也没有关系,现在网上公开课的资源也很好
勤奋、并有明确的目标
要有耐心,数据显示,40左右慢慢达到人生的收入巅峰
…
3. Chernoff Bound
随机变量偏离它的期望一个给定的值的概率,被称为偏差的尾概率(tail probability)。尾概率的计算方式除了利用已知条件直接计算以外,还有很多『模板』可以使用,就包括:
- 马尔科夫(Markov)不等式
- 切比雪夫(Chebyshev)不等式
- 切尔诺夫(Chernoff)界
简单来说尾概率就是 P(X>t)P(X > t)P(X>t) 的范围主要由计数计算概率法和利用数字特征计算的方法。
3.1 定义
切尔诺夫界(Chernoff Bound)通常是用来描述随机变量的和的取值在其期望附近的概率,在大多数情况下,随机变量都具有"集中"现象,也即概率较高的取值都集中在其期望附近。比如说抛硬币,抛一次硬币也许无法确定出现正面的概率,但是抛10000次之后呢?出现正反面的概率都稳定在了12附近,这就是"概率集中"现象,而切尔诺夫界(Chernoff Bound)就可以定量的来描述这种现象。
3.2 examplar explaination
切尔诺夫界(Chernoff Bound)的证明主要用到了两个工具,一是Markov不等式,一是Moment Generating Functions.
examplar explaination
3.3 切诺夫界的特殊性质
4. Union Bound
https://www.zhihu.com/question/27821324
https://zh.wikipedia.org/wiki/%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E8%B7%9D%E7%A6%BB
https://zhuanlan.zhihu.com/p/49197590
https://zhuanlan.zhihu.com/p/74363642
零空间,Markov‘s inequality, Chebyshev Chernoff Bound, Union Bound相关推荐
- 【证明】【一题多解】布尔不等式(union bound)的证明
布尔不等式(Boole's inequality)也叫(union bound),即并集的上界,描述的是至少一个事件发生的概率(P(⋃iAi)P(⋃iAi)\mathbb{P}\left(\bigcu ...
- 【学习笔记】网络图数据分析导论(solid)
讲座标题:Introduction to Network Data Analysis 中文标题:网络数据分析导论 讲授者: Dr. Zongming Ma \text{Dr. Zongming Ma} ...
- Games101 学习笔记
文章目录 第一章 第二章 线性代数 向量 单位向量: 向量相加: 笛卡尔坐标系: 向 量乘法: 点乘 叉乘 标准正交基orthonormal 矩阵 矩阵乘法 性质: 矩阵的转置: 单位矩阵和逆矩阵 用 ...
- UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...
- Boole‘s,Doob‘s inequality,中心极限定理Central Limit Theorem,Kolmogorov extension theorem, Lebesgue‘s domin
1. Boole's inequality In probability theory, Boole's inequality, also known as the union bound, says ...
- python bound unbound method
2019独角兽企业重金招聘Python工程师标准>>> 函数与方法 一个函数(function)是由 def 语句或者 lambda 创建的. 当一个函数(function)定义在了 ...
- tsp 分支界限 java_干货 | 10分钟教你用branch and bound(分支定界)算法求解TSP旅行商问题...
在此之前,先给大家讲讲最重要的一个点,搜索树的节点定义,节点定义了原问题的solution和子问题的solution.Node节点定义如下: public class Node {private Ar ...
- Managing the Lifecycle of a Bound Service
原文URL:Managing the Lifecycle of a Bound Service Bound Service的生命周期管理 当一个service与所有的client解除绑定关系后,And ...
- 【Android】17.1 Bound Services基本概念
分类:C#.Android.VS2015: 创建日期:2016-03-03 一.Bound Services-被绑定的服务 1.什么是Bound Service Bound Service是指通过接口 ...
最新文章
- 可信工业数据空间系统架构1.0白皮书
- Lync 小技巧-24-PDF 加密文件-转-Word-操作手册
- ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决方案
- C#程序员转android开发
- 25 个超棒的 WordPress 主题(2012)
- 史上最全换档讲解手动档汽车的换挡技巧
- mybatis中sql语句传入多个参数方法
- OS X 使用技巧——轻松地调整窗口大小
- 第2章[2.5] Ext JS组件、容器与布局
- 微信小程序商城系统订单管理功能介绍
- 模糊综合评价在实际问题中的应用(案例)
- android朋友圈九宫格图片尺寸,朋友圈图片尺寸多少厘米(附朋友圈发图技巧)...
- 谁曾从谁的时光里停留
- 计算机软件的著作权和专利权法律保护资料
- 举报两年论文终撤稿!123页PDF实名举报985大学导师学术造假后续来了...
- Dart(5)-内置类型
- 闭锁java_实例讲解Java并发编程之闭锁
- TB5 AXD 在win7 vista下 启动失败
- java中日志的级别说明
- debian常用命令整理
热门文章
- 番石榴的对象类:Equals,HashCode和ToString
- Mac OS X上的Java Memcached
- Spring Insight – Web应用程序分析
- Java软件项目开发命名规范_命名规则
- scare机器人如何手眼标定_基于视觉伺服的工业机器人系统研究(摄像机标定、手眼标定、目标单目定位)...
- mvc 404错误 php,java - springmvc 请求无法到达controller,出现404错误
- c语言小游戏 精简_一个简易的贪吃蛇小游戏C语言源码
- 惠普照片打印软件_被看错的打印机?原来打印机还可以这么玩
- python实现局域网攻击_通过python实现DNS欺骗
- plotcylinder matlab,Matlab在任意两点之间绘制三维圆柱