机器学习实战:基于概率论的分类方法:朴素贝叶斯(源码解析,错误分析)...
按照惯例,先把代码粘到这里
from numpy import *def LoadDataSet():postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],['stop', 'posting', 'stupid', 'worthless', 'garbage'],['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]classVec = [0, 1, 0, 1, 0, 1] # 1 is abusive, 0 notreturn postingList, classVecdef CreateVocabList(dataSet):vocabSet = set([]) # create empty setfor document in dataSet:vocabSet = vocabSet | set(document) # union of the two setsreturn list(vocabSet)def SetOfWords2Vec(vocabList, inputSet):returnVec = [0] * len(vocabList)for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] = 1else:print ("the word: %s is not in my Vocabulary!" % word)return returnVecdef BagOfWords2VecMN(vocabList, inputSet):returnVec = [0] * len(vocabList)for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] += 1return returnVecdef trainNB0(trainMatrix, trainCategory):numTrainDocs = len(trainMatrix)numWords = len(trainMatrix[0])pAbusive = sum(trainCategory) / float(numTrainDocs)p0Num = ones(numWords)p1Num = ones(numWords) #change to ones() to avoid product to be zerop0Denom = 2.0; p1Denom = 2.0 #change to 2.0for i in range(numTrainDocs):if trainCategory[i] == 1:p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else:p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])p1Vect = log(p1Num/p1Denom) #change to log() to avoid down-overflowp0Vect = log(p0Num/p0Denom) #change to log()return p0Vect, p1Vect, pAbusivedef ClassifyNB(vec2classify, p0Vec, p1Vec, pClass1):p1 = sum(vec2classify * p1Vec) + log(pClass1)p0 = sum(vec2classify * p0Vec) + log(1.0 - pClass1)if p1 > p0:return 1else:return 0def TextParse(bigString): # input is big string, #output is word listimport relistOfTokens = re.split(r'\W*', bigString)return [tok.lower() for tok in listOfTokens if len(tok) > 2]def SpamTest():docList = []classList = []fullText = []for i in range(1, 26):wordList = TextParse(open('machinelearninginaction\Ch04\email\spam\%d.txt' % i).read())docList.append(wordList)fullText.extend(wordList)classList.append(1)wordList = TextParse(open('machinelearninginaction\Ch04\email\ham\%d.txt' % i).read())docList.append(wordList)fullText.extend(wordList)classList.append(0)vocabList = CreateVocabList(docList) # create vocabularytrainingSet = list(range(50))testSet = [] # create test setfor i in range(10):randIndex = int(random.uniform(0, len(trainingSet)))testSet.append(trainingSet[randIndex])del (trainingSet[randIndex])trainMat = []trainClasses = []for docIndex in trainingSet: # train the classifier (get probs) trainNB0trainMat.append(BagOfWords2VecMN(vocabList, docList[docIndex]))trainClasses.append(classList[docIndex])p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))errorCount = 0for docIndex in testSet: # classify the remaining itemswordVector = BagOfWords2VecMN(vocabList, docList[docIndex])if ClassifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:errorCount += 1print("classification error", docList[docIndex])print('the error rate is: ', float(errorCount) / len(testSet))# return vocabList,fullText# def CalcMostFreq(vocabList, fullText):
# import operator
# freqDict = {}
# for token in vocabList:
# freqDict[token] = fullText.count(token)
# sortedFreq = sorted(freqDict.items(), key=operator.itemgetter(1), reverse=True)
# return sortedFreq[:30]
#
#
# def localWords(feed1, feed0):
# import feedparser
# docList = [];
# classList = [];
# fullText = []
# minLen = min(len(feed1['entries']), len(feed0['entries']))
# for i in range(minLen):
# wordList = TextParse(feed1['entries'][i]['summary'])
# docList.append(wordList)
# fullText.extend(wordList)
# classList.append(1) # NY is class 1
# wordList = TextParse(feed0['entries'][i]['summary'])
# docList.append(wordList)
# fullText.extend(wordList)
# classList.append(0)
# vocabList = CreateVocabList(docList) # create vocabulary
# top30Words = calcMostFreq(vocabList, fullText) # remove top 30 words
# for pairW in top30Words:
# if pairW[0] in vocabList: vocabList.remove(pairW[0])
# trainingSet = range(2 * minLen);
# testSet = [] # create test set
# for i in range(20):
# randIndex = int(random.uniform(0, len(trainingSet)))
# testSet.append(trainingSet[randIndex])
# del (trainingSet[randIndex])
# trainMat = [];
# trainClasses = []
# for docIndex in trainingSet: # train the classifier (get probs) trainNB0
# trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
# trainClasses.append(classList[docIndex])
# p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))
# errorCount = 0
# for docIndex in testSet: # classify the remaining items
# wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
# if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
# errorCount += 1
# print
# 'the error rate is: ', float(errorCount) / len(testSet)
# return vocabList, p0V, p1V
#
#
# def getTopWords(ny, sf):
# import operator
# vocabList, p0V, p1V = localWords(ny, sf)
# topNY = [];
# topSF = []
# for i in range(len(p0V)):
# if p0V[i] > -6.0: topSF.append((vocabList[i], p0V[i]))
# if p1V[i] > -6.0: topNY.append((vocabList[i], p1V[i]))
# sortedSF = sorted(topSF, key=lambda pair: pair[1], reverse=True)
# print
# "SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**"
# for item in sortedSF:
# print
# item[0]
# sortedNY = sorted(topNY, key=lambda pair: pair[1], reverse=True)
# print
# "NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**"
# for item in sortedNY:
# print
# item[0]
编译过程中遇到的错误
错误1:
UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 199: illegal multibyte sequence
这个错误意思是python无法读取某个txt文件,实为编码问题,解决方法是按照错误跳转到相应程序行,在spam或者ham中查找有问题的txt,看看是否编码错误。如果编码错误,可以手动修改编码,或者你的编译器可以自动选择编码模式,修改一下就可以了。
错误2:
TypeError: 'range' object doesn't support item deletion
将
trainingSet = range(50)
改为
trainingSet = list(range(50))
即可
关于机器学习的源代码以及数据集在这里:
http://blog.csdn.net/iamoldpan/article/details/78010329
机器学习实战:基于概率论的分类方法:朴素贝叶斯(源码解析,错误分析)...相关推荐
- 基于概率论的分类方法—朴素贝叶斯
基于概率论的分类方法-朴素贝叶斯 转载于:https://www.cnblogs.com/liuys635/p/11181304.html
- 《机器学习实战》学习笔记(四):基于概率论的分类方法 - 朴素贝叶斯
欢迎关注WX公众号:[程序员管小亮] [机器学习]<机器学习实战>读书笔记及代码 总目录 https://blog.csdn.net/TeFuirnever/article/details ...
- 机器学习实战教程(三):基于概率论的分类方法——朴素贝叶斯
文章目录 一.朴素贝叶斯理论 1.贝叶斯决策理论 2.条件概率 3.全概率公式 4.贝叶斯推断 5.朴素贝叶斯推断 二.示例:言论过滤器 三.朴素贝叶斯改进之拉普拉斯平滑 四.示例:朴素贝叶斯之过滤垃 ...
- 基于概率论的分类方法: 朴素贝叶斯
朴素贝叶斯 概述 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们通过实例来讨论贝叶斯分类的中最简单的一种: ...
- 机器学习实战 - 基于概率论的分类方法:朴素贝叶斯
之前关于k-近邻和决策树的讲解没有一步一步具体的说明每个函数的实现功能和测试样例,让不是学习本书的人看起来一片代码一头雾水,这里开始,会仔细的讲解每个函数实现的功能和其对应的测试样例,之前的也会抽空修 ...
- 《机器学习实战》笔记(04):基于概率论的分类方法 - 朴素贝叶斯分类
基于概率论的分类方法:朴素贝叶斯分类 Naive Bayesian classification 这大节内容源于带你理解朴素贝叶斯分类算法,并非源于<机器学习实战>.个人认为<机器学 ...
- 机器学习实战4(1):朴素贝叶斯:垃圾邮件的识别
一.朴素贝叶斯基础知识 预备数学知识: A. 无约束条件的优化 1.求极值问题 人工智能中最核心的数学环节是求出一个目标函数(object function)的最小值/最大值.求出一个函数最小是/最大 ...
- 机器学习实战教程(四):朴素贝叶斯基础篇之言论过滤器
一.前言 朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失.是否值得投资.信用等级评定等多分类问题.该算法的优点在于简单易懂.学习效率高.在某些领域的分类问题中能够与决策树.神经网络 ...
- 机器学习实战教程(七):朴素贝叶斯
一 简介 朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失.是否值得投资.信用等级评定等多分类问题.该算法的优点在于简单易懂.学习效率高.在某些领域的分类问题中能够与决策树.神经网络 ...
- 机器学习实战之基于概率论的分类方法:朴素贝叶斯
基于概率论的分类方法:朴素贝叶斯 引入 1 基于贝叶斯决策理论的分类方法 1.1 条件概率 1.2 使用条件概率来分类 1.3 使用朴素贝叶斯进行文档分类 2 使用Python进行文本分类 2.1 准 ...
最新文章
- python无限循环条件循环_Python - 条件控制、循环语句 - 第十二天
- 马云:“996 是一种巨大的福气”
- python连接mysql
- 重置密码遇到ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using passwor:yes)问题
- 数据集 | 计算机视觉开源数据集(计算机视觉图像、定位、识别)
- linux查看 idt日志,实现RCP的日志管理
- C++ STL 中提供的算法
- Spring4.2+quartz2.2集群
- Octavia API接口慢问题排查引发的思考
- python后台——aiohttp入门
- 我也不知道取什么标题好了!
- echo输出大花括号 php_PHP的echo输出内容过多会很慢
- 是时候表演真正的技术了——11个Git面试题目,你会多少?
- c语言题库字母顺序,C语言题库(带答案)-排版-
- 2021年N1叉车司机找解析及N1叉车司机试题及解析
- 经济学基础之名义利率与实际利率以及他们同复利公式的运用
- python抓取百度指数详解
- 赛尔号星球大战游戏攻略
- 微信小程序--红色星球
- 稀疏数组练习demo 数据结构和算法
热门文章
- python实现排列组合公式算法_Python实现卡尔曼滤波算法之贝叶斯滤波
- ubuntu16.04下Caffe绘制训练过程的loss和accuracy曲线
- ubuntu下python多版本切换问题
- 功能测试工程师想快速学习新技术?7个捷径教给你!
- 让form登录界面居中_徒手撸-登录页面(1)
- python单引号双引号三引号_python中的单引号、双引号和三引号有何区别
- android 动态更改包名,Gradle多渠道打包(动态设定App名称,应用图标,替换常量,更改包名,变更渠道)...
- java 中的string_Java中String揭秘
- ffmpeg create a video from 4th image and and slow down the play speed
- Lesson 3 Part 2 logistic regression