4-20 节20.贝叶斯算法原理

贝叶斯解决逆向概率问题。

4-21 节21.贝叶斯代码实现

数据格式：垃圾邮件分类示例，两个类别

代码：bayes.py

import numpy as np
import re
import randomdef textParse(input_string):listofTokens = re.split(r'\W+', input_string) #可能有些字符分的不是很清楚，看见字符就切分return [tok.lower() for tok in listofTokens if len(listofTokens)>2] #大写转换为小写def creatVocablist(doclist):vocabSet = set([])for document in doclist:vocabSet = vocabSet | set(document) #求并集。即vocabSet是没有重复的集合return list(vocabSet)def setOfWord2Vec(vocablist, inputSet):returnVec  = [0]*len(vocablist)for word in inputSet:if word in vocablist:returnVec[vocablist.index(word)] = 1 #如果在inputSet中的一个词出现了两次呢？？？ 现在代码在returnVec中该词的位置上设置为1，没有累加return returnVecdef trainNB(trainMat, trainClass):numTrainDocs = len(trainMat)numWords = len(trainMat[0])p1 = sum(trainClass)/float(numTrainDocs) #垃圾邮件概率值p0Num = np.ones((numWords)) #做了一个平滑处理。防止概率值等于0p1Num = np.ones((numWords)) #拉普拉斯平滑p0Denom = 2p1Denom = 2 #通常情况下都是设置成类别个数for i in range(numTrainDocs):if trainClass[i] == 1: #垃圾邮件p1Num += trainMat[i]p1Denom += sum(trainMat[i])else:p0Num += trainMat[i]p0Denom += sum(trainMat[i])p1Vec = np.log(p1Num/p1Denom) #垃圾邮件中，每个词出现的概率。采用log计算，是防止多个概率值相乘后约为0。p0Vec = np.log(p0Num/p0Denom)return p0Vec, p1Vec, p1def classifyNB(wordVec,p0Vec,p1Vec,p1_class):    p1 = np.log(p1_class) + sum(wordVec*p1Vec)  #贝叶斯公式p0 = np.log(1.0 - p1_class) + sum(wordVec*p0Vec)if p0>p1:return 0else:return 1def spam():doclist = [] #dataclasslist = []for i in range(1,26):wordlist = textParse(open('email/spam/%d.txt'%i,'r').read()) #读取文本文件，并分词组成列表doclist.append(wordlist)classlist.append(1) #1表示垃圾邮件wordlist = textParse(open('email/ham/%d.txt'%i,'r').read())doclist.append(wordlist)classlist.append(0) #1表示垃圾邮件vocablist = creatVocablist(doclist) #训练集和测试集中包含的所有词，不重复trainSet = list(range(50))  #最终得训练集的索引testSet = []for i in range(10):randIndex = int(random.uniform(0,len(trainSet)))testSet.append(trainSet[randIndex])del (trainSet[randIndex])trainMat = []trainClass = []for docIndex in trainSet:trainMat.append(setOfWord2Vec(vocablist,doclist[docIndex]))  #将训练数据转换为向量形式trainClass.append(classlist[docIndex])p0Vec,p1Vec,p1 = trainNB(np.array(trainMat),np.array(trainClass))errorCount = 0for docIndex in testSet:wordVec = setOfWord2Vec(vocablist,doclist[docIndex])if classifyNB(np.array(wordVec),p0Vec,p1Vec,p1) != classlist[docIndex]:errorCount+=1print ('当前10个测试样本，错了：',errorCount) if __name__ == '__main__':spam()

机器学习4. 贝叶斯相关推荐

秒懂机器学习---朴素贝叶斯
秒懂机器学习---朴素贝叶斯一.总结一句话总结: 尽管朴素贝叶斯的条件独立性假设存在一定的问题,但是朴素贝叶斯算法仍然能取得比较理想的分类预测结果. 1.朴素贝叶斯分类算法和 KNN分类算法和决 ...
机器学习朴素贝叶斯算法+tkinter库界面实现好瓜坏西瓜分类
机器学习朴素贝叶斯算法+tkinter库界面实现好瓜坏西瓜分类一.界面实现 from tkinter import * from tkinter import ttk import NBdef ma ...
机器学习朴素贝叶斯算法_机器学习中的朴素贝叶斯算法
机器学习朴素贝叶斯算法朴素贝叶斯算法 (Naive Bayes Algorithm) Naive Bayes is basically used for text learning. Using t ...
机器学习：贝叶斯算法的应用
机器学习: 贝叶斯算法的应用背景数据集及源码互联网经济蓬勃发展的背景下,食品经营模式发生了天翻地覆的变化,人们的消费习惯也悄然发生了转变.通过点击手机APP上自己喜欢的食品, 这些食品就能按时准 ...
python机器学习-朴素贝叶斯（Naive Bayes）模型建立及评估（完整代码+实现效果）
实现功能: python机器学习-朴素贝叶斯(Naive Bayes)模型建立及评估. 实现代码: # 导入需要的库 from warnings import simplefilter simplef ...
机器学习 | 朴素贝叶斯法知识总结
机器学习 | 朴素贝叶斯法理论知识贝叶斯决策论是概率框架下实施决策的基本方法.对分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记.朴素贝 ...
机器学习朴素贝叶斯_机器学习基础朴素贝叶斯分类
机器学习朴素贝叶斯 In the previous stories, I had given an explanation of the program for implementation of v ...
机器学习34:贝叶斯先验概率
机器学习34:贝叶斯先验概率: 理解贝叶斯先验概率是为了更好的理解正则化的概念. (1)贝叶斯先验概率和贝叶斯后验概率: 1.先验概率是指根据以往经验和分析得到的概率,即在事情发生之前事情发生的概率. ...
机器学习---朴素贝叶斯模型
机器学习-朴素贝叶斯模型 1.通俗解释: 朴素贝叶斯模型的基本思路就是利用贝叶斯的后验概率公式来推算当前属性下的数据样本属于哪一个类别.直白一点说,就是在特征属性为当前取值的条件下,该样本归属于那个类 ...
【机器学习】贝叶斯机器学习：经典模型与代码实现
贝叶斯机器学习 Author:louwill Machine Learning Lab 贝叶斯定理是概率模型中最著名的理论之一,在机器学习中也有着广泛的应用.基于贝叶斯理论常用的机器学习概率模型包括朴 ...

机器学习4. 贝叶斯

4-20 节20.贝叶斯算法原理

4-21 节21.贝叶斯代码实现

数据格式：垃圾邮件分类示例，两个类别

代码：bayes.py

机器学习4. 贝叶斯相关推荐

最新文章

热门文章