sklearn初探(五):自行实现朴素贝叶斯
sklearn初探(五):自行实现朴素贝叶斯
前言
严格上说,这个与sklearn关系不大,不过既然都是预测问题,归于这个系列也无伤大雅。这次我实现一个朴素贝叶斯学习算法(上一篇文章中的贝叶斯是高斯分布的,与这个有点区别)。数据集链接及完整源代码在文末给出。
概述
朴素贝叶斯方法是基于贝叶斯定理的一组有监督学习算法,即“简单”地假设每对特征之间相互独立。 给定一个类别 y y y和一个从 x 1 x_1 x1到 x n x_n xn的相关的特征向量, 贝叶斯定理阐述了以下关系:
使用简单(naive)的假设-每对特征之间都相互独立:
对于所有的 :i 都成立,这个关系式可以简化为
由于在给定的输入中 P ( x 1 , . . . , x n ) P(x_1,...,x_n) P(x1,...,xn)是一个常量,我们使用下面的分类规则:
我们可以使用最大后验概率(Maximum A Posteriori, MAP) 来估计 P ( y ) P(y) P(y)和 P ( x i ∣ y ) P(x_i|y) P(xi∣y) ; 前者是训练集中类别 y y y 的相对频率。
各种各样的的朴素贝叶斯分类器的差异大部分来自于处理 P ( x i ∣ y ) P(x_i|y) P(xi∣y)分布时的所做的假设不同。
尽管其假设过于简单,在很多实际情况下,朴素贝叶斯工作得很好,特别是文档分类和垃圾邮件过滤。这些工作都要求 一个小的训练集来估计必需参数。(至于为什么朴素贝叶斯表现得好的理论原因和它适用于哪些类型的数据,请参见下面的参考。)
相比于其他更复杂的方法,朴素贝叶斯学习器和分类器非常快。 分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。
另一方面,尽管朴素贝叶斯被认为是一种相当不错的分类器,但却不是好的估计器(estimator),所以不能太过于重视从 predict_proba
输出的概率。
参考资料:
- H. Zhang (2004). The optimality of Naive Bayes. Proc. FLAIRS.
思路
将正例与反例各平均分为十份,然后每次各取九份为训练集,剩下的为测试集。
数据分割
还是用pandas
bank_data = pd.read_csv("../datas/train_set.csv")
marital_set = list(bank_data['marital'])
education_set = list(bank_data['education'])
default_set = list(bank_data['default'])
housing_set = list(bank_data['housing'])
y_set = list(bank_data['y'])
data_set = []
为了后续处理方便,这里将dataframe类型全部转为list
生成测试集与训练集
# divide the data set
train_set = []
test_set = []
base1 = int(i*(yes_count/10))
base2 = int((i+1)*(yes_count/10))
base3 = yes_count + int(i*(no_count/10))
base4 = yes_count + int((i+1)*(no_count/10))
for j in range(0, base1):train_set.append(data_set[j])
for j in range(base1, base2):test_set.append(data_set[j])
if base2 < yes_count:for j in range(base2, yes_count):train_set.append(data_set[j])
for j in range(yes_count, base3):train_set.append(data_set[j])
for j in range(base3, base4):test_set.append(data_set[j])
if base4 < yes_count+no_count:for j in range(base4, yes_count+no_count):train_set.append(data_set[j])
朴素贝叶斯概率计算并统计命中数
for k in test_set:yes_mar = 0yes_edu = 0yes_def = 0yes_hsg = 0no_mar = 0no_edu = 0no_def = 0no_hsg = 0for t in train_set:if t[-1] == 0: # noif t[0] == k[0]:no_mar += 1if t[1] == k[1]:no_edu += 1if t[2] == k[2]:no_def += 1if t[3] == k[3]:no_hsg += 1else: # yesif t[0] == k[0]:yes_mar += 1if t[1] == k[1]:yes_edu += 1if t[2] == k[2]:yes_def += 1if t[3] == k[3]:yes_hsg += 1p_yes = yes_mar/tmp_yes_count*yes_edu/tmp_yes_count*yes_def/tmp_yes_count*yes_hsg/tmp_yes_count*P_yes# print(p_yes)p_no = no_mar/tmp_no_count*no_edu/tmp_no_count*no_def/tmp_no_count*no_hsg/tmp_no_count*P_no# print(p_no)if p_yes > p_no:if k[-1] == 1:predict += 1else:if k[-1] == 0:predict += 1
评分
# print(predict)
score = predict/test_len
print(score)
with open("../output/scoresOfMyBayes.txt", "a") as sob:sob.write("The score of test "+str(i)+" is "+str(score)+'\n')
最后得分高的吓人,有八次命中率100%,看来喂数据很重要。
源代码
import pandas as pdbank_data = pd.read_csv("../datas/train_set.csv")
marital_set = list(bank_data['marital'])
education_set = list(bank_data['education'])
default_set = list(bank_data['default'])
housing_set = list(bank_data['housing'])
y_set = list(bank_data['y'])
data_set = []
for i in range(0, len(marital_set)):tmp = [marital_set[i], education_set[i], default_set[i], housing_set[i], y_set[i]]data_set.append(tmp)
label_set = bank_data['y']
label_set = list(label_set)
yes_count = 0
for i in label_set:if i == 1:yes_count += 1
no_count = len(marital_set)-yes_count
# 10-means cross validate
for i in range(0, 10):# divide the data settrain_set = []test_set = []base1 = int(i*(yes_count/10))base2 = int((i+1)*(yes_count/10))base3 = yes_count + int(i*(no_count/10))base4 = yes_count + int((i+1)*(no_count/10))for j in range(0, base1):train_set.append(data_set[j])for j in range(base1, base2):test_set.append(data_set[j])if base2 < yes_count:for j in range(base2, yes_count):train_set.append(data_set[j])for j in range(yes_count, base3):train_set.append(data_set[j])for j in range(base3, base4):test_set.append(data_set[j])if base4 < yes_count+no_count:for j in range(base4, yes_count+no_count):train_set.append(data_set[j])# calculate beginstrain_len = len(train_set)test_len = len(test_set)print(test_len)print(test_set)print(train_set)tmp_no_count = 0tmp_yes_count = 0for j in train_set:if j[-1] == 0:tmp_no_count += 1else:tmp_yes_count += 1P_yes = tmp_yes_count/train_lenP_no = tmp_no_count/train_lenpredict = 0for k in test_set:yes_mar = 0yes_edu = 0yes_def = 0yes_hsg = 0no_mar = 0no_edu = 0no_def = 0no_hsg = 0for t in train_set:if t[-1] == 0: # noif t[0] == k[0]:no_mar += 1if t[1] == k[1]:no_edu += 1if t[2] == k[2]:no_def += 1if t[3] == k[3]:no_hsg += 1else: # yesif t[0] == k[0]:yes_mar += 1if t[1] == k[1]:yes_edu += 1if t[2] == k[2]:yes_def += 1if t[3] == k[3]:yes_hsg += 1p_yes = yes_mar/tmp_yes_count*yes_edu/tmp_yes_count*yes_def/tmp_yes_count*yes_hsg/tmp_yes_count*P_yes# print(p_yes)p_no = no_mar/tmp_no_count*no_edu/tmp_no_count*no_def/tmp_no_count*no_hsg/tmp_no_count*P_no# print(p_no)if p_yes > p_no:if k[-1] == 1:predict += 1else:if k[-1] == 0:predict += 1# print(predict)score = predict/test_lenprint(score)with open("../output/scoresOfMyBayes.txt", "a") as sob:sob.write("The score of test "+str(i)+" is "+str(score)+'\n')
数据集
https://download.csdn.net/download/swy_swy_swy/12407045
sklearn初探(五):自行实现朴素贝叶斯相关推荐
- Python3《机器学习实战》学习笔记(五):朴素贝叶斯实战篇之新浪新闻分类
转载请注明作者和出处:http://blog.csdn.net/c406495762 Github代码获取:https://github.com/Jack-Cherish/Machine-Learni ...
- sklearn学习笔记5:朴素贝叶斯
sklearn为我们提供了四个朴素贝叶斯的分类器 naive_bayes.BernoulliNB:伯努利分布下的朴素贝叶斯 naive_bayes.GaussianNB:高斯分布下的朴素贝叶斯 nai ...
- 机器学习笔记(五)续——朴素贝叶斯算法的后验概率最大化含义
上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类.这等价于期望风险最小化. 假设使用0-1损失函数: L(Y,f(X))={1,0,Y≠f(X)Y=f(X) L(Y, f(X)) = \Bigg\ ...
- 机器学习:sklearn实现k邻近、朴素贝叶斯
1.认识机器学习 2.scikit-learn库介绍 3.算法介绍 4.sklearn数据集介绍 5.K近邻算法原理 6.使用sklearn实现K近邻 7.K近邻预测约会是否受欢迎 8.标准化原理和代 ...
- 机器学习(二)--sklearn之逻辑斯蒂回归和朴素贝叶斯
文章目录 1.逻辑斯蒂回归 2.朴素贝叶斯 3.三种分类算法的比较 上回说到,sklearn中的k近邻算法解决多分类问题.k近邻的基本步骤是:收集数据.创建分类器.训练.预测.评估性能.调参(参数就是 ...
- 数据挖掘十大算法(九):朴素贝叶斯 python和sklearn实现
第三个算法终于算是稍有了解了,其实当你结合数据了解了它的实现原理后,你会发现确实很朴素.这里对朴素贝叶斯算法做一个介绍和总结,包括(原理.一个代码示例.sklearn实现),皆为亲自实践后的感悟,下面 ...
- 【白话机器学习】算法理论+实战之朴素贝叶斯
1. 写在前面 如果想从事数据挖掘或者机器学习的工作,掌握常用的机器学习算法是非常有必要的,常见的机器学习算法: 监督学习算法:逻辑回归,线性回归,决策树,朴素贝叶斯,K近邻,支持向量机,集成算法Ad ...
- 白话 贝叶斯公式_【白话机器学习】算法理论+实战之朴素贝叶斯
来自于: AI蜗牛车团队(作者:Miracle8070) 公众号: AI蜗牛车 原文链接:[白话机器学习]算法理论+实战之朴素贝叶斯mp.weixin.qq.com 有兴趣的同学可以关注我的公众号: ...
- 机器学习实战之分类算法(K-近邻/朴素贝叶斯/决策树/随机森林)
机器学习分类算法 1. 机器学习算法简介 1.1 按照学习方式分类 1.2 区别 1.3 关于监督学习中的分类与回归区别 1.4 机器学习开发流程 2. 数据集介绍与划分 2.1 sklearn数据集 ...
最新文章
- Java学习总结:43(转换流)
- 第3关:递归实现二叉树左右子树交换
- tp6中使用微信支付sdk
- 编程之美-数字哑谜和回文方法整理
- 通过ctrl+r快速启动程序
- linux序列比对程序,序列比对软件简单使用教程
- TWAIN协议学习笔记
- SQL疑难杂症【4 】大量数据查询的时候避免子查询
- 新联会是什么组织的作用_“新国标”脚蹬子受到人们热议!它的作用是什么,可有可无吗?...
- Linux 基础知识系列第二篇
- Android手机常见隐藏代码
- 用GLM来读取显示有纹理的OBJ
- redis客户端mac_推荐一款神仙颜值的Redis客户端工具
- 我应关注的AEC算法细分
- asp.net 后台方法和js方法互动
- 一款好看的pycharm主题Atom One Dark
- 强大的诺顿扼杀了alexa工具条
- Go语言-测试与性能分析
- matplotlib画图去掉边缘空白
- 生物计算机 量子计算机,光子计算机、生物计算机和量子计算机