数理统计中常用函数、概率分布函数总结
Happiness is to find someone who can give you warm and share your life together.
幸福就是找一个温暖的人过一辈子。
数理统计中常用函数、概率分布函数总结
克罗内克函数(Kornecker delta)
\delta(i,j)=\begin{cases} 0& \text{if $i \neq j $}\\ 1& \text{if i=j} \end{cases}
伯努利分布函数(Bernoulli distribution)
又名两点分布或0-1分布。
- 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验。
- 进行一次伯努利试验,成功(X=1)概率为p(0<=p<=1),失败(X=0)概率为1-p,则称随机变量X服从伯努利分布。
伯努利分布是离散型概率分布,概率分布函数为:f(x)=px(1−p)1−x=⎧⎩⎨⎪⎪p1−p0if x=1if x=0otherwisef(x)=p^x(1-p)^{1-x}=\begin{cases} p& \text{if x=1}\\ 1-p & \text{if x=0}\\ 0 & otherwise \end{cases}
二项分布(Binomial distribution)
二项分布是n重伯努利试验成功次数的离散概率分布。
- 如果试验E是一个n重伯努利试验,每次伯努利试验的成功概率为p,X代表成功的次数,则X的概率分布是二项分布,记为X~B(n,p),其概率质量函数为:
P{X=k}=Cknpk(1−p)n−k,k=0,1,2,3...,n.
P\{X=k\}=C_n^kp^k(1-p)^{n-k},k=0,1,2,3...,n.
∑k=0nP{X=k}=1\sum_{k=0}^n P\{X=k\}=1
- 伯努利分布是二项分布在n=1时的特例。
- 二项分布名称的由来,是由于其概率质量函数中使用了二项系数,该系数是二项式定理中的系数,二项式定理由牛顿提出:
(x+y)n=Cknxkyn−k
(x+y)^n=C_n^kx^ky^{n-k}
多项分布(Multinomial distribution)
多项式分布是二项式分布的推广。二项式做n次伯努利实验,规定了每次试验的结果只有两个,如果现在还是做n次试验,只不过每次试验的结果可以有多m个,且m个结果发生的概率互斥且和为1,则发生其中一个结果X次的概率就是多项式分布。多项式分布的质量函数如下:
P\{X_1=k_1,X_2=k_2,......,X_n=k_n\}=\frac{n!}{k_1!k_2!...K_n!}\prod_{i=1}^nP_i^{k_i},where \sum_{i=0}^nk_i=n.
贝塔分布(Beta distribution)
先了解一下先验概率、后验概率、似然函数以及共轭分布的概念。
- 先验概率 事情尚未发生前,我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率,称为客观先验概率; 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。例如抛一枚硬币头向上的概率为0.5,这就是主观先验概率。
- 后验概率 指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。
- 先验概率和后验概率的区别 先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料。另外一种表述:先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率是在考虑了一个事实之后的条件概率。
- 似然函数 一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)。
- 似然和概率的区别 概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
- 共轭分布 后验概率分布函数与先验概率分布函数具有相同形式
首先考虑在试验数据比较少的情况下,直接用最大似然法估计二项分布的参数可能会出现过拟合的现象(比如,扔硬币三次都是正面,那么最大似然法预测以后的所有抛硬币结果都是正面)。为了避免这种情况的发生,可以考虑引入先验概率分布来控制参数,防止出现过拟合现象。
先验概率和后验概率的关系如下:
posterior=likelihood*prior
二项分布的似然函数为(指二项分布除归一参数的部分,似然函数不是概率分布函数是由于似然函数不需要归一化):
μ^m(1-μ)^n如果选择的先验概率也与和次方的乘积的关系,那么后验概率分布的函数形式就会跟它的先验函数形式一样了。具体来说,选择prior的形式是
w_1μ^a(1-μ)^b,那么posterior就会变成
w_2μ^{a+m}(1-μ)^{n+b}, w1,w2w_1,w_2(为概率分布函数的归一化参数),所以posterior和prior具有相同的函数形式(都是也与和次方的乘积),这样先验概率与后验概率就是共轭分布了。
通常选择贝塔分布作为先验概率分布函数,形式如下:
Beta(μ|a,b)=\frac{\varGamma(a+b)}{\varGamma(a)\varGamma(b)}μ^{a-1}(1-μ)^{b-1},where 0
狄利克雷分布(Dirichlet distribution)
狄利克雷分布是多项分布的共轭分布,与多项式分布具有相同的形式。
概率分布函数如下:
P(p_1,...,p_n;α_1,...,α_n)=\frac{1}{B(α)}\prod_{i=1}^{n}p_i^{k_i-1},where B(α)=\frac{\prod_{i=1}^{n}\varGamma(α_i)}{\varGamma(\sum_{i=1}^nα_i)}
欢迎参考本人博客:https://smj2284672469.github.io/
数理统计中常用函数、概率分布函数总结相关推荐
- Py之Numpy:Numpy库中常用函数的简介、应用之详细攻略
Py之Numpy:Numpy库中常用函数的简介.应用之详细攻略 目录 Numpy库中常用函数的简介.应用 1.X, Y = np.meshgrid(X, Y) 相关文章 Py之Numpy:Numpy库 ...
- TF:tensorflow框架中常用函数介绍—tf.Variable()和tf.get_variable()用法及其区别
TF:tensorflow框架中常用函数介绍-tf.Variable()和tf.get_variable()用法及其区别 目录 tensorflow框架 tensorflow.Variable()函数 ...
- oracle中各种函数,oracle中常用函数大全
1.数值型常用函数 函数 返回值 样例 显示 ceil(n) 大于或等于数值n的最小整数 select ceil(10.6) from dual; 11 floor(n) 小于等于数值n的最大整数 s ...
- concat函数_三、P57-61 MySQL中常用函数
本部分主要讲解MySQL数据库中常用函数的使用. P57 SQL中的函数类型:字符串函数.数值函数.日期和时间函数.流程函数.其他常用函数: P58 第1部分:字符串函数 1.concat函数 con ...
- 计算机应用常用的30个函数,Excel中常用函数的使用
ISSN 1009-30" 咖船r Kno别b内e and伯叻肋叻电奠知识'i技术 V01.6,No.30,October20lO,pP.8523-8524E-mail:x8jl@cccc. ...
- php开发中常用函数总结,PHP开发中常用函数总结
PHP开发中常用函数总结 发布于 2014-10-31 08:34:03 | 48 次阅读 | 评论: 0 | 来源: 网友投递 PHP开源脚本语言PHP(外文名: Hypertext Preproc ...
- 帝国cms cj1.php,帝国cms源码中常用函数所在位置
帝国cms源码中常用函数所在位置 发布时间:2014-03-28 15:00:26 作者:佚名 我要评论 帝国cms常用函数所在位置归总,使用帝国cms的朋友可以收藏下 帝国cms常用函数所在 ...
- Python中常用函数
Python中常用函数 1.range( )函数 函数定义: range(stop) range(start, stop[, step]) 返回值:返回一个递增或递减的数字列表,列表的元素值由三个参数 ...
- mysql中常用函数与存储过程的创建
mysql中常用函数与存储过程的创建 常用函数汇总 数学函数 字符串函数 日期和时间函数 条件判断函数 系统函数 加密函数 其他函数 自定义函数 自定义变量的声明和赋值 基本语法 实例 存储过程 事务 ...
- 劫持 function_core.php,function_core.php文件中常用函数
雨哲在开发插件的时候喜欢直接调用系统本身有的函数来实现,不太喜欢重复定义相同功能的函数,这里收集一下常用的function_core.php文件中的函数. 1.验证邮箱地址有效性:isemail($e ...
最新文章
- 设计模式原则--单一职责原则
- 数据结构第二章线性表学习笔记
- 中石油训练赛 - DNA(字符串哈希)
- shell脚本1——变量 $、read、``
- wan口有流量但电脑上不了网_wan口有ip地址但是上不了网怎么办?
- jQuery刻度尺滚动滑块插件
- 获取客户端ip_获取客户端访问真实IP
- python爬虫步骤-只需四个步骤,彻底上手python爬虫!
- 【t092】迷之阶梯
- 统计通话次数和时间的软件_通话时间统计app下载-通话时间统计v2.5 安卓版-腾牛安卓网...
- python下载电影链接_Python:输入电影名,爬获取到阳光电影网中对应名称的迅雷下载链接,获取的链接有点问题(具体问题在内容里)...
- Mac命令行 显示隐藏文件夹 不显示隐藏文件夹
- 易捷行云获选国际开源基础设施基金会OIF“双董事” 席位
- 一个男人写给前女友的话。。。真心哭了
- 互联网晚报 | 2月13日 星期日 | 上汽荣威宣布多款新能源车型涨价;高亭宇破奥运会纪录夺金;演员总片酬不得超过制作成本40%...
- 插入移动硬盘时出现Synaptics.exe - 损坏的映像错误的解决办法
- LeetCode:390.消除游戏
- APK应用程序的解包、修改、编辑、打包及应用(三)
- web期末大作业-前端网页--H5--海贼王动态网页源码-海贼王网页
- 给自己一个整洁的办公环境,我是指你的电脑系统
热门文章
- 28335和C语言数据存储检索
- 背景透明及引发的文字透明问题
- 上海航芯 | 从STM32F103到ACM32F403的U盘程序移植工程
- 解决warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
- makefile碰到问题总结
- RV32G下lui/auipc和addi结合加载立即数时的补值问题
- 十三:中介者模式(联盟与派系)
- 又涨了?2021年6月程序员平均薪资15052元!高薪还能持续多久?
- matlab中图像格式转换
- nacos 2.0 Scanner SubTypesScanner was not configured