写在前面的话：

我现在大四，毕业设计是做一个基于大数据的用户画像研究分析。所以开始学习数据挖掘的相关技术。这是我学习的一个新技术领域，学习难度比我以往学过的所有技术都难。虽然现在在一家公司实习，但是工作还是挺忙的，经常要加班，无论工作多忙,还是决定要写一个专栏,这个专栏就写一些数据挖掘算法、数据结构、算法设计和分析的相关文章。通过写博文来督促自己不断学习。以前对于数学没有多大的兴趣爱好，从小到大，学数学也是为了考试能考个好的成绩，学过的很多数学知识，并没有深刻的感受到它的用途，不用也就慢慢遗忘，但自从我看了数学之美这本书和开始学习数据挖掘后，使我对数学有了很大的兴趣。数学源于生活，用于生活。数据挖掘中涉及到很多统计学、线性代数、微积分等相关知识，而我的很多数学知识都已经还给我以前的老师了，所以现在只能慢慢一点一点捡起来。要感谢网上有很多作者写出的好的文章，让我受益匪浅，也算是站在他们的肩膀上学习。减少了我的学习困难，而我今天开始写的专栏里的一系列文章，很多例子都是借鉴于他们文章中的例子。想了想，这个专栏名称就叫<<算法大杂烩>>，以后我会把我工作中用到的、自己学习的新算法、以及回顾梳理的每一个算法的学习笔记和心得都更新到这个专栏里。写的博文难免会有写得不好的地方，欢迎大家指正,我也喜欢和有共同学习爱好的人一起学习交流。

不一定每天都更会更新，但是肯定会坚持写下去。

今天写的第一篇博文，是关于朴素贝叶斯分类的。几年前，我就听说过这个算法，只是稍微了解一点点，仅仅停留在只知道它是通过贝叶斯定理来分类的。写这篇文章之前，我看了很多的相关知识，包括书籍和网上的一些优秀的博文。哈哈，到现在也应该算对于这个算法入门了吧。后面的参考链接中会附上一些参考的文章地址。

贝叶斯分类的含义

长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，不是1/2，就是0，而且不论你取了多少次，取得白球的概率θ始终都是1/2，即不随观察结果X 的变化而变化。

直到贝叶斯定理的出现，贝叶斯定理不把概率θ看做一个固定的值（比如上面取白球的概率一直都是1/2），而看做一个随机变量，他会随着观察结果变化

贝叶斯及贝叶斯派提出了一个思考问题的固定模式：

• 先验分布 + 样本信息  后验分布

上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对的认知是先验分布，在得到新的样本信息后，人们对的认知为。

条件概率公式进行变形，可以得到如下形式：

P(A|B)=P(A)    *    P(B|A)/P(B)

我们把P(A)称为"先验概率"，即在事件B发生之前，事件A发生的概率，在事件B发生之前，它是一个无条件分布，因为A还没有与事件B关联上，他是先验分布。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。它的分布就是后验分布

所以，条件概率可以理解成下面的式子：

　　后验概率　＝　先验概率 ｘ 调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

在这里，如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。

水果糖问题例子

这个例子同样来自阮一峰老师的博文，加深对贝叶斯推断的理解

第一个例子。两个一模一样的碗，一号碗有30颗水果糖和10颗巧克力糖，二号碗有水果糖和巧克力糖各20颗。现在随机选择一个碗，从中摸出一颗糖，发现是水果糖。请问这颗水果糖来自一号碗的概率有多大？

我们假定，H1表示一号碗，H2表示二号碗。由于这两个碗是一样的，所以P(H1)=P(H2)，也就是说，在取出水果糖之前，这两个碗被选中的概率相同。因此，P(H1)=0.5，我们把这个概率就叫做"先验概率"，即没有做实验之前，来自一号碗的概率是0.5。

再假定，E表示水果糖，所以问题就变成了在已知E的情况下，来自一号碗的概率有多大，即求P(H1|E)。我们把这个概率叫做"后验概率"，即在E事件发生之后，对P(H1)的修正。

根据贝叶斯定理，得到

P(H1|E)=P(H1)  *  P(E|H1)/P(E)

已知，P(H1)等于0.5，P(E|H1)为一号碗中取出水果糖的概率，等于0.75，那么求出P(E)就可以得到答案。根据全概率公式（不懂全概率公式的可以查找相关资料理解），

P(E)=P(E|H1) * P(H1)  +  P(E|H2)*P(H2)

所以，将数字代入原方程，得到

P(H1|E)=0.5*   0.75/0.625=0.6

这表明，来自一号碗的概率是0.6。也就是说，取出水果糖之后，H1事件的可能性得到了增强。

连续型特征属性和零概率事件处理

上面讲的特征属性值，都是离散的，账号真假检测例子中把连续的转换成区间，每个区间也可以看成离散的，但是如果在不能这样转换的情况下怎么解决？如果特征属性值是不是离散的，而是连续的怎么办？

我们是站在巨人的肩膀上，前人早已经为我们找到了应对之策

当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。即：

而

因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。（ak为观察到的属性值）

另一个需要讨论的问题就是当P(a|y)=0怎么办，当某个类别下某个特征项划分没有出现时，就是产生这种现象，这会令分类器质量大大降低。为了解决这个问题，引入了拉普拉斯校准，它的思想非常简单，就是对没类别下所有划分（概率为零的）的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为零的尴尬局面。

买电脑是否和收入相关的例子

验证买电脑，是否和收入有关的场景下：

类 buys_computer=yes包含1000个元组，有0个元组income=low  ,990个元组 income=medium,10个元组income=high,这些事件的概率分别是0,    0.990,    0.010.

有概率为0,肯定不行.使用拉普拉斯校准，对每个收入-值对应加1个元组，分别得到如下概率

这些校准的概率估计与对应的未校准的估计很接近，但是避免了零概率值

性别分类的例子

再看一个阮一峰老师的朴素贝叶斯应用一文中摘自维基百科的例子，关于处理连续变量的另一种方法。

下面是一组人类身体特征的统计资料。

已知某人身高6英尺、体重130磅，脚掌8英寸，请问该人是男是女？

根据朴素贝叶斯分类器，计算下面这个式子的值。

P(身高|性别) x P(体重|性别) x P(脚掌|性别) x P(性别)

这里的困难在于，由于身高、体重、脚掌都是连续变量，不能采用离散变量的方法计算概率。而且由于样本太少，所以也无法分成区间计算。怎么办？

这时，可以假设男性和女性的身高、体重、脚掌都是正态分布，通过样本计算出均值和方差，也就是得到正态分布的密度函数。有了密度函数，就可以把值代入，算出某一点的密度函数的值。

比如，男性的身高是均值5.855、方差0.035的正态分布。所以，男性的身高为6英尺的概率的相对值等于1.5789（大于1并没有关系，因为这里是密度函数的值，只用来反映各个值的相对可能性）。

有了这些数据以后，就可以计算性别的分类了。

　　P(身高=6|男) x P(体重=130|男) x P(脚掌=8|男) x P(男) 
　　　　= 6.1984 x e-9

　　P(身高=6|女) x P(体重=130|女) x P(脚掌=8|女) x P(女) 
　　　　= 5.3778 x e-4

可以看到，女性的概率比男性要高出将近10000倍，所以判断该人为女性。

下一篇会写贝叶斯网络。

参考文章：

http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html

http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

http://blog.csdn.net/zdy0_2004/article/details/41096141

参考书籍：数据挖掘概念与技术。数据挖掘十大算法，统计学概率论方面的数学知识

码字不易，转载请指明出自http://blog.csdn.net/tanggao1314/article/details/66478782