分布问题(二元,多元变量分布,Beta,Dir)
这涉及到数学的概率问题。
二元变量分布:
伯努利分布,就是0-1分布(比如一次抛硬币,正面朝上概率)
那么一次抛硬币的概率分布如下:
假设训练数据如下:
那么根据最大似然估计(MLE),我们要求u:
求值推导过程如下:
所以可以求出:
以上的推导过程就是极大似然估计,我们可以看出u就是样本出现的频率除以总共抛硬币的实验次数。但是极大似然估计有它的局限性,当训练样本比较小的时候会导致Overfitting问题,比如说抛了10次硬币,有8次朝上,那么根据极大似然估计,u的取值就应该是8/10(这符号频率派的观点)。如何解决这个问题呢?
那么这时候就需要从贝叶斯理论出发,贝叶斯理论认为,u并不是一个固定的值,u是同样服从某个分布,因此我们假设u有个先验分布P(u)。
但是如何选取这个先验分布p(u)呢?
我们知道
因此我们希望先验分布也可以有类似的概率分布,为什么这么说呢?因为后验概率=先验概率*似然函数,所以如果选择的先验分布和似然函数有一样的结构,那么得到的后验概率也会存在相似的结构,这样会使得我们后面的计算简便。
共轭性:θ的后验分布p(θ|x)与先验分布P(θ)属于同一分布,那么称二者为共轭分布。
因此我们假设u的先验分布也为
那么这时候数学里面有个分布叫做Beta分布:
那么假设我们投硬币,m次正面,l次反面。总共是m+l=N次实验:
那么这时候u的分布为:
依旧和先验分布服从一样的分布(共轭分布)
假设我们要预测下一次的实验结果,也就是给定D得到下一次的预测分布:
我们可以发现当m,N无限变大的时候,这种估计近似等于极大似然估计。
多元变量分布:
很多时候,变元的不止只有两个,还有多元,其实估计过程是类似的。 假设有k维向量,其中某个向量Xk=1,其他等于0。
例如某个变量x2发生,则X2=1,x=(0,1,0,0,0,0) 以抛筛子为例子,总共有6个面。
那么xk=1发生的概率为Uk,那么x的分布为:
考虑n个独立观测值{x1,x2,...xn}D,对应的似然函数:
其中mk其实就是这么多次实验中,uk出现的次数大小。估计极大似然估计,我们会得出:
同理,为了避免数据量小导致的过拟合问题,我们对Uk也假设一个先验分布:
考虑到对于多元变量的分布u:
因此我们选择它的共轭分布狄利克雷分布为先验分布:
那么后验分布=似然分布*先验分布:
依旧和先验分布服从一样的分布(共轭分布)
假设我们要预测下一次的实验结果,也就是给定D得到下一次的预测分布:
又因为对于狄利克雷分布:
所以对于某个类的分布预测为:
转载于:https://www.cnblogs.com/tectal/p/10146874.html
分布问题(二元,多元变量分布,Beta,Dir)相关推荐
- 17. 二元离散型随机变量边际分布律与条件分布律
文章目录 二元离散型随机变量边际分布律与条件分布律 边际分布 条件分布 二元离散型随机变量边际分布律与条件分布律 边际分布 对于离散型随机变量 (X,Y)(X,Y)(X,Y),分布律为 P(X=xi, ...
- sas univariate 结果解释_【SAS NOTES】proc univariate检查单变量分布
1 proc univariate data=mysas.mmstwo;2 varwangnei;3 run; 结果 The SAS System 17:32 Saturday, February 1 ...
- probility and statistic(4) gamma分布、beta分布、dirichlet分布、卡方分布、t分布
共轭分布.gamma分布.beta分布.dirichlet分布.卡方分布.t分布 1.共轭分布 在贝叶斯统计中,如果后验分布与先验分布属于同类(分布形式相同),则先验分布与后验分布被称为共轭分布,而先 ...
- 程序中变量分布的区域总结 堆 栈 字符常量区 全局数据区 静态存储区
程序中变量分布的区域总结 堆 栈 字符常量区 全局数据区 静态存储区 #include "stdafx.h" #include <stdio.h> #include & ...
- 概率统计Python计算:离散型随机变量分布(bernoulli geom)
Python的scipy.stats包中提供了各种随机变量的分布.每一种分布,其累积分布函数(分布函数)记为cdf.离散型变量分布的概率质量函数(分布律),记为pmf.除此之外,每个分布都有一个服从该 ...
- L2-离散变量分布:Bernoulli分布、二项分布、泊松分布等
1. 定义 随机试验的每一个结果都对应变量XXX的一个确定的取值,因此变量XXX是样本空间SSS上的函数: X=X(e)(e∈S)X=X(e) \;\;\; (e \in S)X=X(e)(e∈S) ...
- 数据分析技能点-正态分布和其他变量分布
大家好,我是Mr数据杨.说说正态分布,这是一个数据分析中的重要概念.那么在三国演义中,哪个英雄最能体现正态分布呢?答案是司马懿,他的军事和政治才能与诸葛亮相当,他的才能在所有人中居中且表现稳定,这就是 ...
- 伯努利分布、二项分布、Beta分布、多项分布和Dirichlet分布与他们之间的关系,以及在LDA中的应用
在看LDA的时候,遇到的数学公式分布有些多,因此在这里总结一下思路. 一.伯努利试验.伯努利过程与伯努利分布 先说一下什么是伯努利试验: 维基百科伯努利试验中: 伯努利试验(Bernoulli tri ...
- 算法工程师的基本修养:比较两个或多个变量分布,从可视化到统计检验
本文来源 机器学习算法与Python实战 比较一个变量在不同组中的分布是数据科学中的一个常见问题.当我们想要评估一项策略(用户体验功能.广告活动.药物等)的因果效应时,因果推断的黄金标准便是随机对照 ...
最新文章
- 快速解决mongodb出现id重复问题
- Microbit扩展编写
- 队列 一种数据结构(多线程利器)
- 包含JS交互的混淆出错
- Python学习教程(Python学习路线):如何正确使用Pandas库提升项目的运行速度?...
- JavaScript中BOM操作
- 机器学习-吴恩达-笔记-14-应用实例:图片文字识别
- Html5学习进阶一 视频和音频
- day9--Matplotlib--折线图
- SIP协议详解(中文)-5
- 【设计模式】快速全面通俗易懂的设计模式讲解(以大白话例子讲解)
- Centos 6 版本下载
- 外卖扫码点餐独立全开源小程序源码+VUE前端
- Linux下shell脚本的编写
- 专业动漫库好看的3d动漫推荐(3D动漫排行榜2022)
- C#:实现公历转农历算法(附完整源码)
- python爬取收费素材_基于Python爬取素材网站音频文件
- 数据结构(十六)——左高树(含合并过程详细图解)
- linux命令gw,Linux命令行配置IP、GW、DNS
- 平均置业年龄33.5岁!为啥搞数据的都往成都跑?
热门文章
- 发短信的简单实现——C#版
- 推荐:PHPCMS v9 安全防范教程!
- MySql数据类型分析(银行家舍入法) Part3
- as3数据类型检查写法(is/as/typeof/in/instanceof)用法介绍
- 艺街开放平台开源计划
- .net操作读取word中的图像并保存
- linux下安装chrome
- 什么时候用removeUnusedSpriteFrames和removeUnusedTextures
- 大数据_Flink_Java版_数据处理_流处理API_Flink中的UDF函数类---Flink工作笔记0036
- ElasticSearch启动报错curl: (7) Failed connect to 172.19.128.56:9200; 拒绝连接---ElasticSearch工作笔记029