基于朴素贝叶斯的垃圾邮件分类系统（包含黑白名单和特征库功能）

一、数据预处理

经过常用的数据预处理，如删除停用词等后，统计所有训练集中垃圾邮件的内容，经分词后输出频次，得到垃圾邮件的特征库并画出词云图

background_image = np.array(Image.open('001.png'))
colormaps = colors.ListedColormap(['#871A84', '#BC0F6A', '#BC0F60', '#CC5F6A', '#AC1F4A'])
wordcloud = WordCloud(font_path='simhei.ttf',  # 字体prefer_horizontal=0.99,background_color='white',  # 背景色max_words=200,  # 显示单词数max_font_size=200,  # 最大字号stopwords=stop,  # 过滤噪声词mask=background_image,  # 背景轮廓colormap=colormaps,  # 使用自定义颜色collocations=False).fit_words(dict)
image = wordcloud.to_image()
image.show()  # 展示图片
wordcloud.to_file('词云图.png')  # 保存图片片

二、训练

普通的朴素贝叶斯训练过程，本实验采用定义来做，并没有调用库。最终利用GUI可视化来训练过程和结果
本实验可以通过GUI界面更改垃圾邮件的权重，训练集和测试集的比例，选择是否加权等。

def test(row):# 总邮件数量total = ham + spamwordDict = row['wordDict']V = len(wordDict)# 正常邮件概率,取对数防止数值过小，取对数不影响概率的比较hp = math.log(float(ham) / total)# 垃圾邮件概率sp = math.log(float(spam) / total)for w in wordDict:w = w.strip()# 在统计词典中查找该词，未查找到则赋予默认值countDict.setdefault(w, {0: 0, 1: 0})  # w[0]=0, w[1]=0pih = countDict[w][0]  # 该词在词典中正常邮件出现的次数pis = countDict[w][1]  # 该词在词典中垃圾邮件出现的次数# 平滑处理，防止出现零概率, 每个词汇基数+1，正常邮件数+2(因为有两种类型邮件所以+2)# 因为取对数，可以将概率的逐个相乘转化为逐个相加if m == '是':Wh = ((pih + 1) / (ham + 2)) / ((pis + 1) / (spam + 2))Ws = ((pis + 1) / (spam + 2)) / ((pih + 1) / (ham + 2))hp += ((math.log((float(pih) + 1) / (ham + 2)) + 10) * Wh)sp += ((math.log((float(pis) + 1) / (spam + 2)) + 10) * Ws)else:Wh = (pih + 1) / (ham + V)Ws = (pis + 1) / (spam + V)hp += math.log(float(Wh))sp += math.log(float(Ws))# 得到预测结果# predict = 1 if sp > hp else 0 # 直接比较predict = 1 if sp > hp * k else 0# print("hp=", hp)# print("sp=", sp)# print("=======================")# 判断预测值跟真实值是否相符return 1 if predict == row['spam'] else 0

三、测试

新增黑白名单功能
先经过黑白名单的检测再输出结果
运用一个简单的判断语句：

for email in emails_found:if email in white_emails_to_compare:print(f'发件人{email} 在白名单内')elif email in black_emails_to_compare:print(f'发件人{email} 在黑名单内')else:print(f'发件人{email} 既不在黑名单也不在白名单')

四、全部代码及数据集

基于朴素贝叶斯的垃圾邮件分类系统（包含黑白名单和特征库功能）相关推荐

Python实现基于朴素贝叶斯的垃圾邮件分类标签： python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读评论(1) 收藏举报分类：机器学习（19）听说
Python实现基于朴素贝叶斯的垃圾邮件分类标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读评论(1) 收藏举报分类: 机器学习(19) 听说朴 ...
基于朴素贝叶斯的垃圾邮件分类-着重理解拉普拉斯变换
1. 引言在正式学习朴素贝叶斯之前,需要明确的是机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率P(c|x),即根据特征得到所属类别的概率,首先引入两个概念. 判别式模型(disc ...
朴素贝叶斯法 - 垃圾邮件分类
本文基于朴素贝叶斯构建一个分类垃圾邮件的模型,研究对象是英文的垃圾邮件. 邮件内容保存在txt文件中,其中分为训练样本train和测试样本test. 在训练样本中正常邮件命名为:pos:垃圾邮件命名为 ...
AI基础：朴素贝叶斯与垃圾邮件分类
来,继续回顾基础算法文章目录背景&贝叶斯原理贝叶斯分类器朴素贝叶斯分类器西瓜数据集下的朴素贝叶斯示例朴素贝叶斯分类的优缺点朴素贝叶斯关键问题朴素贝叶斯企业中的应用案例基于朴素 ...
机器学习--使用朴素贝叶斯进行垃圾邮件分类
一.学习背景垃圾邮件的问题一直困扰着人们,传统的垃圾邮件分类的方法主要有"关键词法"和"校验码法"等,然而这两种方法效果并不理想.其中,如果使用的是" ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
朴素贝叶斯（垃圾邮件分类）
一.基于贝叶斯决策理论的分类方法朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法.对于大多数的分类算法,在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同.比 ...
基于朴素贝叶斯的垃圾邮件分类器Java实现和讲解
朴素贝叶斯算法最典型的应用就是垃圾邮件的识别,在数据量非常大的情况下,识别的正确率可以达到接近100%,同时实现起来思路并不复杂.本文介绍的就是基于朴素贝叶斯算法的垃圾邮件识别的实现.如果之前对贝叶斯 ...
Python微调文本顺序对抗朴素贝叶斯算法垃圾邮件分类机制
封面图片:<Python可以这样学>,ISBN:9787302456469,董付国,清华大学出版社图书详情(京东): ================= 关于朴素贝叶斯算法中文垃圾邮件分 ...

基于朴素贝叶斯的垃圾邮件分类系统（包含黑白名单和特征库功能）

目录

一、数据预处理

二、训练

三、测试

四、全部代码及数据集

基于朴素贝叶斯的垃圾邮件分类系统（包含黑白名单和特征库功能）相关推荐

最新文章

热门文章