读July关于概率论所想

3月29日，一口气读完了July整理的关于概率论与数理统计方面的知识（ref:http://blog.csdn.net/v_july_v/article/details/8308762），其中大部分的内容其实在以前的课程上面见到过，但是关于数学史这一块，以前虽然听过过一点点，今天是把他的来龙去脉都搞清楚了。
接下来，记录一些我看过文章之后的一些疑问：

1.关于先验后验

2、贝叶斯公式
贝叶斯定理（Bayes’ theorem），是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理（贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。
通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。
如此篇blog第二部分所述“据维基百科上的介绍，贝叶斯定理实际上是关于随机事件A和B的条件概率和边缘概率的一则定理。

如上所示，其中P(A|B)是在B发生的情况下A发生的可能性。在贝叶斯定理中，每个名词都有约定俗成的名称：
P(A)是A的先验概率或边缘概率。之所以称为”先验”是因為它不考虑任何B方面的因素。
P(A|B)是已知B发生后A的条件概率（直白来讲，就是先有B而后=>才有A），也由于得自B的取值> 而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率（直白来讲，就是先有A而后=>才有B），也由于得自A的取值而被称作B的后验概率。
P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

这里很多东西都没有搞清楚，到底什么是似然，P(B|A) 这一个项，为什么能够称为相似度。

2.关于信号。
之前，和大师兄就讨论过，什么是信号？信号的本质就是方差，而本文中关于信息论的分析，也可以看出，方差其实暗示着信息量，

用于机器学习的数据（主要是训练数据），方差大才有意义

所以说，信息论的方法，其实是在让我们合理的使用信息，从而推测出无偏见的参数的分布。

3.关于中心极限定理。
第一次知道中心极限定理有这么多种形式，关于其极限的形式，确实十分的有意思，不管之前是什么分布形式，通过线性的叠加，叠加之后的随机变量就会趋向于高斯分布。

4.关于历史。
高斯通过另矩估计的结果等于极大似然估计的结果，从而得出了误差曲线服从高斯分布。

5.关于贝叶斯。
至今我依然不清楚，贝叶斯的本质是什么，可能还是要多看看贝叶斯的算法，运用到实际之后，才能知道。

由于本文中，重点不在贝叶斯定理，而本文第一节之2.1小节已对其做简要介绍，再者，此文从决策树学习谈到贝叶斯分类算法、EM、HMM第二部分也详细介绍过了贝叶斯方法，故为本文篇幅所限，不再做过多描述。
http://blog.csdn.net/v_july_v/article/details/7577684

6.关于最小二乘与误差曲线的确定
关于高斯的推导，其实很早就看过了，在极坐标下的推导，也觉得问题不是很大。
而5.3节Landon的推导，没有看懂。

5.3、Landon的推导(1941)

噪声的本质到底是什么，为什么噪声会是高斯分布的？

5.4、正态分布和最大熵

对于5.4节，最大熵的论断，了解到在给定均值和方差的情况下，高斯曲线的熵最大。

暂时的想法就这么多，很久没有写过东西了，发现写起东西来手生。

读July关于概率论所想相关推荐

计算机专业需要物理力学,读经典物理学和量子力学所想到的计算机哲学
读经典物理学和量子力学所想到的计算机哲学 (2012-06-26 03:54:01) 标签: 麦克斯韦尔方程量子点阵 it 1.麦克斯韦尔方程就像是矢量字体的公式,数学上上可以无限平滑的缩小和放大 ...
读《输赢》所想到的——关于CRM和团队管理
最近几天读了<输赢>这本书,感觉是非常不错的一本小说,里面所讲述的故事蕴含了不少销售.管理的道理,并且,因为书中的公司是IT公司,而客户又是银行,所以让我格外感兴趣,因为我现在从事的工作就 ...
浅谈《数学之美》①——自然语言处理
小编看的书吴军博士的<数学之美>第二版,最近看完了前七章,做个小总结吧,毕竟本书的知识还是很值得去细细品味(虽然很多看不懂....),算是读书笔记吧,但是本书个人认为不是很适合不知道基础知 ...
图灵4月书讯【黑客与画家将在4月10日左右隆重上市】
黑客与画家:硅谷创业之父Paul Graham文集 --<黑客与画家:硅谷创业之父paul graham文集>是硅谷创业之父paul graham 的文集,主要介绍黑客即优秀程序员的爱好和 ...
传统出租车管制机制基础早已不再，是时候打破垄断了！
转自三里河经略本文由国家发改委城市和小城镇改革发展中心综合交通研究院经济师杜竞强推荐推荐者言近日,住建部宣布废止98版<城市出租汽车管理办法>.移动互联网在出行服务上的应用解决了传 ...
我的2019读书小结
今年读了86本书,写了30篇笔记.技术相关的书只读了 10 本,占比 12%. 从今年阅读的书中挑选出7本技术相关的书作简要介绍,供参考. <编写可读代码的艺术>.以提升代码可读性为主题的 ...
独家 | 一文读懂概率论学习：贝叶斯理论（附链接）
作者:Jaime Zornoza 翻译:李洁校对:郑滋本文长度约为3400字,建议阅读10分钟本文为大家详细介绍了概念学习中常见的贝叶斯理论. 通过一个简单示例,了解概率的基本定理之一. 本 ...
推荐：一文读懂概率论学习：贝叶斯理论（附链接）
作者:Jaime Zornoza 翻译:李洁校对:郑滋本文长度约为3400字,建议阅读10分钟本文为大家详细介绍了概念学习中常见的贝叶斯理论. 通过一个简单示例,了解概率的基本定理之一. ...
数据挖掘中所需的概率论与数理统计知识，上
http://www.cnblogs.com/v-July-v/archive/2012/12/17/3125418.html 数据挖掘中所需的概率论与数理统计知识.上 ( 关键词:微积分.概率分布. ...
概率论中均值、方差、标准差介绍及C++/OpenCV/Eigen的三种实现
概率论是用于表示不确定性声明(statement)的数学框架.它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性声明的公理.在人工智能领域,概率论主要有两种用途.首先,概率法则告诉我们AI系 ...

读July关于概率论所想

读July关于概率论所想相关推荐

最新文章

热门文章