2017年2月20日 Adaboost

2019独角兽企业重金招聘Python工程师标准>>>

Adaboost linearly combines weak learners into a single strong learner in an iterative fashion.
At each iteration, the higher weights are set on previously misclassified samples, a weak learner is trained on such weighted samples

from __future__ import division
import numpy as np
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_gaussian_quantiles
from matplotlib.pyplot import plot
%matplotlib inlineX, y = make_gaussian_quantiles(n_samples=10000, n_features=5,n_classes=2, random_state=1)
y[y==0] = -1class myAdaBoost:def fit(self, X, y, n_estimators):self.weights = np.array([1/X.shape[0]] * X.shape[0])self.learners = []self.alphas = []for i in range(n_estimators):clf = DecisionTreeClassifier(max_depth=2)clf.fit(X,y,self.weights)self.learners.append(clf)e = np.sum(self.weights[np.nonzero(clf.predict(X) != y)])a = .5 * np.log((1-e)/e)self.alphas.append(a)self.weights = self.weights*np.exp(-y*a*clf.predict(X))self.weights = self.weights/np.sum(self.weights)return selfdef score(self, X, y):ps = np.zeros(X.shape[0])for i in range(len(self.learners)):l = self.learners[i]a = self.alphas[i]ps += a * l.predict(X)ps[ps < 0] = -1ps[ps >= 0] = 1return np.count_nonzero(ps == y) / y.shape[0]plot(range(1,50), [myAdaBoost().fit(X,y,i).score(X,y)for i in range(1,50)])

转载于:https://my.oschina.net/airxiechao/blog/862758

2017年2月20日 Adaboost相关推荐

2017年含金量最高的机器学习技能或知识有哪些? 翻译 2017年10月20日 14:22:44 标签：机器学习 / quora 7504 原文：As of 2017, what set of
2017年含金量最高的机器学习技能或知识有哪些? 翻译 2017年10月20日 14:22:44 标签: 机器学习 / quora / 7504
乐视网CEO梁军：现在就是缺钱正在重新学习做生意 2017年09月20日01:18 新京报 37 微博微信 QQ空间添加喜爱乐视网CEO梁军。新京报记者吴江摄乐视网CEO梁军。新京
乐视网CEO梁军:现在就是缺钱正在重新学习做生意 2017年09月20日01:18 新京报 37微博微信QQ空间添加喜爱乐视网CEO梁军. 新京报记者吴江摄乐视网(15.330, 0.00, ...
天下布魔服务器维护,2017年4月20日服务器停机维护公告
亲爱的<天下HD>玩家: 为保证各位玩家的游戏体验,本周<天下HD>将于2017年4月20日(周四)停机维护,维护时间为早上8:00-10:00,如果在维护期间无法完成维护相关 ...
2017年11月20日第二次小组会议
2017年11月20日第二次小组会议,今晚七点半左右在图书馆进行了第二次小组会议,本次会议的主要内容是确定开发软件所需的各种工具及技能,同时也确定了我们开发中各项工作的进度安排以及第一周的基本分工. ...
2017年3月20日下午学习日志
2017年3月20下午复习了高等数学,观看了张宇高等数学第十四讲教学视频高等数学部分第二讲如何进行系统的复习,学习了定理综述的9大定理如图,是考试必考的,必须认真对待的定理和公式,扇贝背今天的英语单词 ...
2017年2月20日 Random Forest Classifier
2019独角兽企业重金招聘Python工程师标准>>> Random Forests builds various decision trees on bootstrap sampl ...
难忘2017年5月20日的那次雪崩
某业务某路径上的机器只有两台,业务高峰到来后,这两台机器出现了高负载, 缓冲区中请求堆积, 队列中的请求超时, 产生雪崩,至今仍然历历在目,永远无法忘记当时的窘迫. mark一下.
2016传智SSH框架CRM项目（5天）笔记（2017年5月20日22:11:15）
5天视频,摘取了其中的一些笔记.笔记记得有点简略,但是把项目中的易错点都写出来了. 下面是笔记链接链接:http://pan.baidu.com/s/1geQ9Tn1 密码:1eh8 或者: htt ...
AI智商评测标准专家研讨会邀请，2018年12月20日北京
21世纪以来,人工智能领域陆续爆发很多重要事件.其中最吸引人们眼球的,当属2016年战胜了人类围棋冠军并开始能够从0自我学习的AlphaGo. 10月26日,软银CEO孙正义在沙特阿拉伯举行的未来投资 ...

2017年2月20日 Adaboost

2017年2月20日 Adaboost相关推荐

最新文章

热门文章