Python微调文本顺序对抗朴素贝叶斯算法垃圾邮件分类机制
封面图片:《Python可以这样学》,ISBN:9787302456469,董付国,清华大学出版社
图书详情(京东):
=================
关于朴素贝叶斯算法中文垃圾邮件分类,可以参考:
Python+sklearn使用朴素贝叶斯算法识别中文垃圾邮件
分词是很多文本分类技术中很重要的一个环节,如果这个环节被破坏,会严重影响分类的准确性。
为了对抗这种垃圾邮件分类机制,有些垃圾邮件发送程序在文本中插入【】#¥*@&$等干扰字符来影响分词,从而影响整个分类机制的正确性。这样处理过的垃圾邮件实际上更容易识别和检测。因为在正常邮件文本中是不应该出现太多干扰字符的,如果出现了,那么直接判定为垃圾邮件在很大概率上也是正确的。检测方法思路可以参考:
Python统计一个字符串中所有字符在另一个字符串出现的总次数
由于人类在阅读文本时,一般是从粗到细和粗细结合的过程,先是一目十行大概了解,如果有感兴趣或需要的内容再缩小窗口逐行阅读,甚至逐词逐字反复阅读,并且在阅读过程中还会根据知识密集程度动态调整阅读窗口。
在这样的阅读方式下,部分字词的顺序交换以后并不容易发现,即使发现一般也不会影响内容的理解,大脑会根据记忆和知识的积累自动识别和纠正部分错误。
根据这一特点,如果对邮件文本中部分字词的顺序进行调整,会直接影响分词结果和朴素贝叶斯算法或类似算法的准确率,欺骗垃圾邮件过滤机制,使得垃圾邮件出现在正常收件箱中的概率大幅度增加。
演示代码:
温馨提示
关注本公众号“Python小屋”,通过菜单“最新资源”==>“历史文章”可以快速查看分专题的850篇技术文章列表(可根据关键字在页面上搜索感兴趣的文章),通过“最新资源”==>“微课专区”可以免费观看350节Python微课,通过“最新资源”==>“培训动态”可以查看近期Python培训安排,通过“最新资源”==>“教学资源”可以查看Python教学资源。
--------董付国老师Python系列图书--------
友情提示:不建议购买太多,最好先通过京东、当当、天猫查阅图书了解目录和侧重点,然后再选择购买适合自己的书。
1)《Python程序设计(第2版)》清华大学出版社,2016年8月
2)《Python可以这样学》清华大学出版社,2017年2月
3)《Python程序设计基础(第2版)》清华大学出版社,2018年1月
4)《中学生可以这样学Python》清华大学出版社,配套微课:《中学生可以这样学Python》84节微课免费观看地址
5)《Python程序设计开发宝典》清华大学出版社,2018年10月
6)《玩转Python轻松过二级》清华大学出版社,2018年5月
7)《Python程序设计基础与应用》机械工业出版社,2018年9月
8)《Python程序设计实验指导书》清华大学出版社,2019年4月
9)《Python编程基础与案例集锦(中学版)》电子工业出版社,2019年4月
10)《大数据的Python基础》机械工业出版社,预计2019年5月出版
11)译作《Python程序设计》,机械工业出版社(华章),2018年11月出版
12)繁体版《Python也可以这样学》,台湾博硕文化股份有限公司,2017年10月出版,本书为《Python可以这样学》在台湾发行的繁体版,两本书内容一样,不建议重复购买。
(13)《Python程序设计实例教程》,机械工业出版社
《中学生可以这样学Python》84节微课免费观看地址
Python课程期末考试编程题自动批卷原理与实现模板
“Python小屋”免费资源汇总(截至2018年11月28日)
Python课堂上我与学生斗智斗勇已8个学期
技术要点|Python监控学生端电脑屏幕自动识别学习状态
课后习题答案
《Python程序设计基础(第2版)》习题答案
《Python程序设计基础与应用》课后习题答案
实验指导书
《Python程序设计》实验指导书(30个实验)
Python实验项目1例:使用进程池统计指定范围内素数的个数
教学大纲
非计算机专业《Python程序设计基础》教学参考大纲
计算机相关专业“Python程序设计”教学大纲(参考)
课件
1900页Python系列PPT分享一:基础知识(106页)
1900页Python系列PPT分享二:Python序列(列表、元组、字典、集合)(154页)
1900页Python系列PPT分享三:选择与循环结构语法及案例(96页)
1900页Python系列PPT分享四:字符串与正则表达式(109页)
1900页Python系列PPT分享五:函数设计与应用(134页)
1900页Python系列PPT分享六:面向对象程序设计(86页)
1900页Python系列PPT分享七:文件操作(132页)
1900页Python系列PPT分享八:异常处理结构与程序调试、测试(70页)
2000页Python系列PPT分享九:(GUI编程)(122页)
报告PPT
报告PPT(163页):基于Python语言的课程群建设探讨与实践
报告PPT(123页):Python编程基础精要
(PPT)Python程序设计课程教学内容组织与教学方法实践
报告PPT|Python编程之美(45页)
Python微调文本顺序对抗朴素贝叶斯算法垃圾邮件分类机制相关推荐
- Python实现基于朴素贝叶斯的垃圾邮件分类 标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读 评论(1) 收藏 举报 分类: 机器学习(19) 听说
Python实现基于朴素贝叶斯的垃圾邮件分类 标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读 评论(1) 收藏 举报 分类: 机器学习(19) 听说朴 ...
- 朴素贝叶斯法 - 垃圾邮件分类
本文基于朴素贝叶斯构建一个分类垃圾邮件的模型,研究对象是英文的垃圾邮件. 邮件内容保存在txt文件中,其中分为训练样本train和测试样本test. 在训练样本中正常邮件命名为:pos:垃圾邮件命名为 ...
- [CS229学习笔记] 5.判别学习算法与生成学习算法,高斯判别分析,朴素贝叶斯,垃圾邮件分类,拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
- 朴素贝叶斯算法--垃圾邮件过滤
文章目录 一.朴素贝叶斯概述 1.贝叶斯决策理论 2.条件概率 3.朴素贝叶斯 4.朴素贝叶斯一般过程 二.朴素贝叶斯算法--垃圾邮件 1.准备数据:从文本中构建词向量 2.训练算法:从词向量计算概率 ...
- 机器学习--使用朴素贝叶斯进行垃圾邮件分类
一.学习背景 垃圾邮件的问题一直困扰着人们,传统的垃圾邮件分类的方法主要有"关键词法"和"校验码法"等,然而这两种方法效果并不理想.其中,如果使用的是" ...
- AI基础:朴素贝叶斯与垃圾邮件分类
来,继续回顾基础算法 文章目录 背景&贝叶斯原理 贝叶斯分类器 朴素贝叶斯分类器 西瓜数据集下的朴素贝叶斯示例 朴素贝叶斯分类的优缺点 朴素贝叶斯关键问题 朴素贝叶斯企业中的应用案例 基于朴素 ...
- 朴素贝叶斯(垃圾邮件分类)
一.基于贝叶斯决策理论的分类方法 朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法.对于大多数的分类算法,在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同.比 ...
- 第六次实验:使用朴素贝叶斯对垃圾邮件分类(CUST)
1.实验目的和要求 会用Python创建朴素贝叶斯模型 使用朴素贝叶斯模型对垃圾邮件分类 会把文本文件变成向量 会用评价朴素贝叶斯模型的分类效果 2.实验环境 pycharm2021.3.1.Win1 ...
- 机器学习实战之朴素贝叶斯与垃圾邮件分类
文章目录 一.实现原理 1.1 贝叶斯理论与公式 1.2 朴素贝叶斯分类器 1.3 拉普拉斯修正 1.4 分类小案例 二.代码实现 2.1 数据准备与处理 2.2 创建词汇表 2.3 构建词袋/词集模 ...
最新文章
- 基于matlab的元音共振峰的估算
- 功能式Python中的探索性数据分析
- Comparable和Comparator的区别
- js 对象数组常用操作 我用到的
- 动态规划6个题目总结比较
- Qt文档阅读笔记-TextEdit QML Type官方解析及实例
- Springt Boot(7)----一种快捷搭建Spring Boot应用
- vue key重复_Vue 前端面试题
- Hector代码笔记
- 移植Andorid4.0.4 - 步骤及问题汇总
- Python自动化开发从浅入深-进阶(socketServer)
- 名字正则只能是中文英文_F开头的英文名字有哪些?英文名字典词典,根据中文名姓名发音起关联英文名,最强英文名取名攻略大全!...
- android使用Itext库生成PDF文件
- vue下载本地静态文件
- layui table切换html,解决Layui中切换tab时table样式错乱问题
- 【一】从.WAV文件中提取语音的fbank特征
- JAVA中如何解决超卖,Redis解决库存超卖问题实例讲解
- 网络爬虫——前程无忧网数据获取及MYSQL存储
- 生物识别技术是什么,生物识别技术的比较介绍
- linux 网络管理之iptables命令详解
热门文章
- anaconda没有vscode_Ubuntu18.04安装Anaconda3和VSCode指南
- jre放到Tomcat目录并指定使用此jre的方法
- android activity启动模式_从0系统学Android--2.5Activity启动模式
- 服务器双网卡设置安全_服务器的基础知识
- 浙江师范大学c语言函数实验答案,浙江师范大学《C语言程序设计》考试卷
- 修改蓝牙耳机按键映射_拆解报告:QCY T4 TWS蓝牙耳机
- php 使用上传文件预览插件,bootstrap fileinput插件实现预览上传照片功能方法详解...
- 计算机博士后流动站有哪些,全国博士后流动站一览表.docx
- java 参数内存释放_JNI创建变量和释放变量
- pycharm远程调试python_使用PyCharm进行Python远程调试