机器学习实战笔记(Python实现)-03-朴素贝叶斯
---------------------------------------------------------------------------------------
本系列文章为《机器学习实战》学习笔记,内容整理自书本,网络以及自己的理解,如有错误欢迎指正。
源码在Python3.5上测试均通过,代码及数据 --> https://github.com/Wellat/MLaction
---------------------------------------------------------------------------------------
1、算法概述
1.1 朴素贝叶斯
朴素贝叶斯是使用概率论来分类的算法。其中朴素:各特征条件独立;贝叶斯:根据贝叶斯定理。
根据贝叶斯定理,对一个分类问题,给定样本特征x,样本属于类别y的概率是:
-------(1)
在这里,x 是一个特征向量,设 x 维度为 M。因为朴素的假设,即特征条件独立,根据全概率公式展开,上式可以表达为:
这里,只要分别估计出,特征 Χi 在每一类的条件概率就可以了。类别 y 的先验概率可以通过训练集算出,同样通过训练集上的统计,可以得出对应每一类上的,条件独立的特征对应的条件概率向量。
1.2 算法特点
优点:在数据较少的情况下仍然有效,可以处理多类别问题。
缺点:对于输入数据的准备方式较为敏感。
适用数据类型:标称型数据。
2、使用Python进行文本分类
要从文本中获取特征,需要先拆分文本。可以把词条想象为单词,也可以使用非单词词条,如URL、IP地址或者任意其他字符串。然后将每一个文本片段表示为一个词条向量,其中值为1表示词条出现在文档中,0表示词条未出现。
2.1 准备数据:从文本中构建词向量
1 from numpy import * 2 3 def loadDataSet(): 4 ''' 5 postingList: 进行词条切分后的文档集合 6 classVec:类别标签 7 ''' 8 postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], 9 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], 10 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], 11 ['stop', 'posting', 'stupid', 'worthless', 'garbage'], 12 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], 13 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] 14 classVec = [0,1,0,1,0,1] #1代表侮辱性文字,0代表正常言论 15 return postingList,classVec 16 17 def createVocabList(dataSet): 18 vocabSet = set([])#使用set创建不重复词表库 19 for document in dataSet: 20 vocabSet = vocabSet | set(document) #创建两个集合的并集 21 return list(vocabSet) 22 23 def setOfWords2Vec(vocabList, inputSet): 24 returnVec = [0]*len(vocabList)#创建一个所包含元素都为0的向量 25 #遍历文档中的所有单词,如果出现了词汇表中的单词,则将输出的文档向量中的对应值设为1 26 for word in inputSet: 27 if word in vocabList: 28 returnVec[vocabList.index(word)] = 1 29 else: print("the word: %s is not in my Vocabulary!" % word) 30 return returnVec 31 ''' 32 我们将每个词的出现与否作为一个特征,这可以被描述为词集模型(set-of-words model)。 33 如果一个词在文档中出现不止一次,这可能意味着包含该词是否出现在文档中所不能表达的某种信息, 34 这种方法被称为词袋模型(bag-of-words model)。 35 在词袋中,每个单词可以出现多次,而在词集中,每个词只能出现一次。 36 为适应词袋模型,需要对函数setOfWords2Vec稍加修改,修改后的函数称为bagOfWords2VecMN 37 ''' 38 def bagOfWords2VecMN(vocabList, inputSet): 39 returnVec = [0]*len(vocabList) 40 for word in inputSet: 41 if word in vocabList: 42 returnVec[vocabList.index(word)] += 1 43 return returnVec
2.2 训练算法:从词向量计算概率
计算每个类别的条件概率,伪代码:
1 def trainNB0(trainMatrix,trainCategory): 2 ''' 3 朴素贝叶斯分类器训练函数(此处仅处理两类分类问题) 4 trainMatrix:文档矩阵 5 trainCategory:每篇文档类别标签 6 ''' 7 numTrainDocs = len(trainMatrix) 8 numWords = len(trainMatrix[0]) 9 pAbusive = sum(trainCategory)/float(numTrainDocs) 10 #初始化所有词出现数为1,并将分母初始化为2,避免某一个概率值为0 11 p0Num = ones(numWords); p1Num = ones(numWords)# 12 p0Denom = 2.0; p1Denom = 2.0 # 13 for i in range(numTrainDocs): 14 if trainCategory[i] == 1: 15 p1Num += trainMatrix[i] 16 p1Denom += sum(trainMatrix[i]) 17 else: 18 p0Num += trainMatrix[i] 19 p0Denom += sum(trainMatrix[i]) 20 #将结果取自然对数,避免下溢出,即太多很小的数相乘造成的影响 21 p1Vect = log(p1Num/p1Denom)#change to log() 22 p0Vect = log(p0Num/p0Denom)#change to log() 23 return p0Vect,p1Vect,pAbusive
2.3 测试算法
分类函数:
1 def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): 2 ''' 3 分类函数 4 vec2Classify:要分类的向量 5 p0Vec, p1Vec, pClass1:分别对应trainNB0计算得到的3个概率 6 ''' 7 p1 = sum(vec2Classify * p1Vec) + log(pClass1) 8 p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) 9 if p1 > p0: 10 return 1 11 else: 12 return 0
测试:
1 def testingNB(): 2 listOPosts,listClasses = loadDataSet() 3 myVocabList = createVocabList(listOPosts) 4 trainMat=[] 5 for postinDoc in listOPosts: 6 trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) 7 #训练模型,注意此处使用array 8 p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses)) 9 testEntry = ['love', 'my', 'dalmation'] 10 thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) 11 print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)) 12 testEntry = ['stupid', 'garbage'] 13 thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) 14 print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
3、实例:使用朴素贝叶斯过滤垃圾邮件
一般流程:
3.1 切分文本
将长字符串切分成词表,包括将大写字符转换成小写,并过滤字符长度小于3的字符。
1 def textParse(bigString):# 2 ''' 3 文本切分 4 输入文本字符串,输出词表 5 ''' 6 import re 7 listOfTokens = re.split(r'\W*', bigString) 8 return [tok.lower() for tok in listOfTokens if len(tok) > 2] 9
3.2 使用朴素贝叶斯进行垃圾邮件分类
1 def spamTest(): 2 ''' 3 垃圾邮件测试函数 4 ''' 5 docList=[]; classList = []; fullText =[] 6 for i in range(1,26): 7 #读取垃圾邮件 8 wordList = textParse(open('email/spam/%d.txt' % i,'r',encoding= 'utf-8').read()) 9 docList.append(wordList) 10 fullText.extend(wordList) 11 #设置垃圾邮件类标签为1 12 classList.append(1) 13 wordList = textParse(open('email/ham/%d.txt' % i,'r',encoding= 'utf-8').read()) 14 docList.append(wordList) 15 fullText.extend(wordList) 16 classList.append(0) 17 vocabList = createVocabList(docList)#生成次表库 18 trainingSet = list(range(50)) 19 testSet=[] # 20 #随机选10组做测试集 21 for i in range(10): 22 randIndex = int(random.uniform(0,len(trainingSet))) 23 testSet.append(trainingSet[randIndex]) 24 del(trainingSet[randIndex]) 25 trainMat=[]; trainClasses = [] 26 for docIndex in trainingSet:#生成训练矩阵及标签 27 trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex])) 28 trainClasses.append(classList[docIndex]) 29 p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses)) 30 errorCount = 0 31 #测试并计算错误率 32 for docIndex in testSet: 33 wordVector = bagOfWords2VecMN(vocabList, docList[docIndex]) 34 if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]: 35 errorCount += 1 36 print("classification error",docList[docIndex]) 37 print('the error rate is: ',float(errorCount)/len(testSet)) 38 #return vocabList,fullText
4、实例:使用朴素贝叶斯分类器从个人广告中获取区域倾向
一般流程:
在这个中,我们将分别从美国的两个城市中选取一些人,通过分析这些人发布的征婚广告信息,来比较这两个城市的人们在广告用词上是否不同 。
4.1 实现代码
1 ''' 2 函数localWords()与程序清单中的spamTest()函数几乎相同,区别在于这里访问的是 3 RSS源而不是文件。然后调用函数calcMostFreq()来获得排序最高的30个单词并随后将它们移除 4 ''' 5 def localWords(feed1,feed0): 6 import feedparser 7 docList=[]; classList = []; fullText =[] 8 minLen = min(len(feed1['entries']),len(feed0['entries'])) 9 for i in range(minLen): 10 wordList = textParse(feed1['entries'][i]['summary']) 11 docList.append(wordList) 12 fullText.extend(wordList) 13 classList.append(1) #NY is class 1 14 wordList = textParse(feed0['entries'][i]['summary']) 15 docList.append(wordList) 16 fullText.extend(wordList) 17 classList.append(0) 18 vocabList = createVocabList(docList)#create vocabulary 19 top30Words = calcMostFreq(vocabList,fullText) #remove top 30 words 20 for pairW in top30Words: 21 if pairW[0] in vocabList: vocabList.remove(pairW[0]) 22 trainingSet = list(range(2*minLen)); testSet=[] #create test set 23 for i in range(10): 24 randIndex = int(random.uniform(0,len(trainingSet))) 25 testSet.append(trainingSet[randIndex]) 26 del(trainingSet[randIndex]) 27 trainMat=[]; trainClasses = [] 28 for docIndex in trainingSet:#train the classifier (get probs) trainNB0 29 trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex])) 30 trainClasses.append(classList[docIndex]) 31 p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses)) 32 errorCount = 0 33 for docIndex in testSet: #classify the remaining items 34 wordVector = bagOfWords2VecMN(vocabList, docList[docIndex]) 35 if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]: 36 errorCount += 1 37 print('the error rate is: ',float(errorCount)/len(testSet)) 38 return vocabList,p0V,p1V 39 40 def calcMostFreq(vocabList,fullText): 41 ''' 42 返回前30个高频词 43 ''' 44 import operator 45 freqDict = {} 46 for token in vocabList: 47 freqDict[token]=fullText.count(token) 48 sortedFreq = sorted(freqDict.items(), key=operator.itemgetter(1), reverse=True) 49 return sortedFreq[:30] 50 51 if __name__== "__main__": 52 #导入RSS数据源 53 import operator 54 ny=feedparser.parse('http://newyork.craigslist.org/stp/index.rss') 55 sf=feedparser.parse('http://sfbay.craigslist.org/stp/index.rss') 56 localWords(ny,sf)
转载于:https://www.cnblogs.com/hemiy/p/6194710.html
机器学习实战笔记(Python实现)-03-朴素贝叶斯相关推荐
- 【机器学习实战(三):朴素贝叶斯】
我的个人网站:天风的人工智能小站 我的CSDN账号:**Tian-Feng的博客_CSDN博客-机器学习领域博主 我的github账号:zhangwei668 - Overview 我的知乎账号:天风 ...
- 王小草【机器学习】笔记--分类算法之朴素贝叶斯
标签(空格分隔): 王小草机器学习笔记 ##1. 概率论知识 ###1.1 先验概率与后验概率 假设有两个事件A和B: P(A) 为A的先验概率,它不考虑任何B事件的因素: P(B) 也为B的先验概率 ...
- 【机器学习实战】第4章 朴素贝叶斯(Naive Bayes)
第4章 基于概率论的分类方法:朴素贝叶斯 朴素贝叶斯 概述 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们 ...
- 机器学习实战刻意练习 —— Task 02. 朴素贝叶斯
机器学习实战刻意练习 第 1 周任务 分类问题:K-邻近算法 分类问题:决策树 第 2 周任务 分类问题:朴素贝叶斯 分类问题:逻辑回归 第 3 周任务 分类问题:支持向量机 第 ...
- 【阿旭机器学习实战】【10】朴素贝叶斯模型原理及3种贝叶斯模型对比:高斯分布朴素贝叶斯、多项式分布朴素贝叶斯、伯努利分布朴素贝叶斯
[阿旭机器学习实战]系列文章主要介绍机器学习的各种算法模型及其实战案例,欢迎点赞,关注共同学习交流. 本文介绍了机器学习中的朴素贝叶斯的基本原理,并对3种贝叶斯模型根据鸢尾花实例进行了比较. 目录 朴 ...
- 机器学习读书笔记(四)朴素贝叶斯基础篇之网站账号分类
一.条件概率 在学习计算p1和p2概率之前,我们需要了解什么是条件概率,就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示. 根据文氏图,可以很清楚地看到在事件B发生的情况下,事件A发 ...
- 机器学习实战笔记(Python实现)-04-Logistic回归
转自:机器学习实战笔记(Python实现)-04-Logistic回归 转自:简单多元线性回归(梯度下降算法与矩阵法) 转自:人工神经网络(从原理到代码) Step 01 感知器 梯度下降
- Python实现基于朴素贝叶斯的垃圾邮件分类 标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读 评论(1) 收藏 举报 分类: 机器学习(19) 听说
Python实现基于朴素贝叶斯的垃圾邮件分类 标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读 评论(1) 收藏 举报 分类: 机器学习(19) 听说朴 ...
- 机器学习实验:使用3种朴素贝叶斯算法对iris()、breast_cancer()和wine()数据集进行训练
机器学习实验:使用3种朴素贝叶斯算法对iris().breast_cancer()和wine()数据集进行训练 实验内容: 分别使用3种朴素贝叶斯算法对iris().breast_cancer()和w ...
最新文章
- CentOS虚拟机和物理机共享文件夹实现
- Android使用SQLite数据库(1)
- C++ Primer 5th笔记(chap 13 拷贝控制)拷贝构造函数
- JMeter打开jmx文件出错CannotResolveClassException: org.apache.jmeter.protocol.ssh.sampler.SSHCommandSampler
- 计组—中央处理器(CPU)
- 难以置信的美丽,世界的数学结构
- WebApi 数据保护操作未成功。这可能是由于未为当前线程的用户上下文加载用户配置文件导致的。当线程执行模拟时,可能会出现此情况。,ExceptionType:System.Security....
- 2017-2018-1 20155227 《信息安全系统设计基础》第十一周学习总结
- js中apply使用方法小议(转载)
- 银河水滴打响步态识别商用第一枪!3大产品1.35亿订单,工业视觉平台免费开放...
- spring3: 依赖和依赖注入-xml配置-DI的配置
- 毫米波雷达人体姿态估计数据集整理 1 -- Python读取含合并单元格的excel
- Windows95 程序设计指南(Windows 95 A Developer's Guside)
- 【linux内核分析与应用-陈莉君】内核同步措施
- ajax提交验证非空,5.验证用户名是否已经被注册:AJAXC请求
- python 操作微信订阅号(2022.7.1)
- Python3.7.4入门-0/1To Begin/数据类型与结构
- Maven 父文件的依赖 子文件不能接收_maven报错:Non-resolvable parent POM for com...
- js 将一大段时间均分为很多个小时间段
- Keil(MDK-ARM)使用教程——在线调试
热门文章
- windows nodejs mysql_windows server 安装 mysql + nondejs连接mysql
- smarty mysql demo_PHP Smarty模版简单使用方法
- usaco Big Barn
- usaco Job Processing(mark)
- java 中的单元测试_浅谈Java 中的单元测试
- android pjsip 2.5编译,在Android中构建PJSiP时出错
- 虚拟机linux 8.04汉化,在虚拟机中快速安装 Ubuntu 18.04
- java批量执行sql语句_Java中批量执行sql语句
- 1、使用库函数计算两个向量的夹角
- 【camera】自动驾驶感知系统实现(车道线检测和拟合、目标检测与跟踪、道路可行驶区域分割、深度估计、图像视野到BEV空间映射、像平面到地平面映射)