神奇的贝叶斯---垃圾邮件过滤

使用贝叶斯进行垃圾邮件过滤的原理很简单，假如我们在邮件中发现一个词--“发票”，那么就根据这个词来计算这封邮件是垃圾邮件的概率

P(垃圾|发票) = P（发票|垃圾）P（垃圾）/P(发票)

P(垃圾|发票) ：邮件中出现发票一词时，该邮件是垃圾邮件的概率

P（发票|垃圾）：在垃圾邮件中，发票一词出现的概率

P（垃圾）：垃圾邮件的概率

P(发票) ：发票一词在邮件中出现的概率

P（正常）：正常邮件的概率

P（发票） = P（发票|垃圾）P（垃圾） + P（发票|正常）P（正常）

第一步，需要一个训练样本，正常邮件，和垃圾邮件各选取2000封，然后统计各个词在垃圾邮件和正常邮件中出现的次数，经过统计，发票一词在垃圾邮件中出现了400封，而在正常邮件中，只有5封邮件，如此，P（发票|垃圾） = 0.2 P（发票|正常） = 0.0025。如果一个词只在垃圾邮件中出现呢，那么它在正常邮件中出现的概率应当是多少呢？显然不应该为0，为0的话，就无法参与计算，因此需要给一个默认值，可以先设置为0.01。随着垃圾邮件的过滤，每一个词在垃圾邮件中的概率和在正常邮件中的概率都是会变化的。

第二步，进行垃圾邮件的识别，这里面，P(垃圾） = P(正常) = 0.5，这个是先验概率，虽然有研究表明用户实际中收到的垃圾邮件占比达到80%，但先验概率仍设置为50%。将以上各值带入公式计算 P(垃圾|发票) = 0.2*0.5/(0.5*0.2+0.5*0.0025) = 0.98 也就是说，有98%的概率是垃圾邮件

但是单凭这一个词就判断它是垃圾邮件是不合理的，毕竟，在正常邮件中，也是可以出现发票一词的，那么该怎么办呢？

邮件中不止发票这一个词，还有其他的词，其他的词也是可以计算垃圾邮件的概率的，这样，我们对所有词都计算，假设单词序列为W1,W2,W3....Wn

p1 = p(垃圾|W1)

p2 = p(垃圾|W2)

.....

pn = p(垃圾|Wn)

将这些值从大到小排序，然后选出其中最大的k个值进行联合概率计算

P = p1*p2*p3...*pk/(p1*p2*p3...*pk + (1-p1)*(1-p2)*(1-p3)...*(1-pk))

公式是如何推到的，这里就不做介绍，因为，我也搞不清楚，但是最终的联合概率计算公式却是如此的简单，以至于，我们完全不需要知道是如何推导出来的

神奇的贝叶斯---垃圾邮件过滤相关推荐

朴素贝叶斯——垃圾邮件过滤
文章目录利用朴素贝叶斯进行文档分类 1.获取数据集 2.切分文本 3.构建词表和分类 4.构建分类器 5.测试算法利用朴素贝叶斯进行垃圾邮件过滤 1.导入数据集 2.垃圾邮件预测总结利用朴素贝 ...
第四章朴素贝叶斯-垃圾邮件过滤
#朴素贝叶斯之垃圾邮件过滤 import os #----------------------1.获取数据集----------------------- import pandas as pd''' ...
php贝叶斯,php – 将单个概率与朴素贝叶斯垃圾邮件过滤相结合
我正在尝试通过分析我已经积累的语料库来生成垃圾邮件过滤器. 我已经实现了代码来计算消息是垃圾邮件的概率,因为它包含一个特定的单词,通过从wiki实现以下公式: 我的PHP代码 public funct ...
Python实现基于朴素贝叶斯的垃圾邮件分类标签： python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读评论(1) 收藏举报分类：机器学习（19）听说
Python实现基于朴素贝叶斯的垃圾邮件分类标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读评论(1) 收藏举报分类: 机器学习(19) 听说朴 ...
python实现朴素贝叶斯垃圾邮件分类
查看通俗易懂的贝叶斯垃圾邮件分类原理请点击此处下载邮件数据请点击此处 import os import re import string import math import numpy as ...
朴素贝叶斯-垃圾邮件（中文的）处理
#coding=utf-8 from sklearn.naive_bayes import MultinomialNB,GaussianNB import numpy as np import jie ...
贝叶斯垃圾邮件分类问题中联合概率的推导
主旨讨论贝叶斯垃圾邮件分类问题中联合概率的计算问题.通过借鉴现有的资料,整理出一种数学上等价,同时基于本科概率论课程较容易理解的计算公式. 背景知识 2002年Paul Graham提出了一种利用贝 ...
朴素贝叶斯-垃圾邮件分类实现
1. 前言 <朴素贝叶斯算法(Naive Bayes)>,介绍了朴素贝叶斯原理.本文介绍的是朴素贝叶斯的基础实现,用来垃圾邮件分类. 2. 朴素贝叶斯基础实现朴素贝叶斯 (naive B ...
机器学习-朴素贝叶斯-垃圾邮件
一:朴素贝叶斯算法概述 1:朴素贝叶斯(Naïve Bayes, NB)算法,是一种基于贝叶斯定理与特征条件独立假设的分类方法.朴素:特征条件独立:贝叶斯:基于贝叶斯定理.属于监督学习的生成模型,实现 ...

神奇的贝叶斯---垃圾邮件过滤

神奇的贝叶斯---垃圾邮件过滤相关推荐

最新文章

热门文章