统计学习方法总结、应用对比

下面主要从模型、策略、算法、应用四方面来对10种统计学习方法，进行归类总结。

方法	模型	策略	算法	应用
感知机	超平面模型	极小化误分点距离	随机梯度下降法	二类分类
朴素贝叶斯法	对条件概率分布作条件独立性的假设	极大似然估计、极大后验概率估计	EM算法	多类分类
k近邻法	k,distance公式	多数决策（找出输入的k个最接近的点，看哪个类的点最多）	k近邻算法	多类分类，回归
决策树	分类的树形结构	正则化极大似然估计	特征选择，生成，剪枝	多类分类，回归
逻辑斯谛回归	用逻辑斯谛分布表示条件概率分布	极大似然估计参数	最优化算法，如改进的迭代算法、拟牛顿法	多类分类
支持向量机	核技巧的超平面	极小化合页损失	序列最小最优化算法（smo）	二类分类
提升方法	弱分类组合	极小化加法模型的指数损失	前向分步算法	二类分类
EM算法	极大似然估计隐含层模型参数	极大似然估计	迭代算法	概率模型参数估计
隐马尔可夫模型	观测序列与状态序列的联合概率模型	极大似然估计，极大后验估计	EM算法	标注
条件随机场	与给定结点不相连的都不影响该点的条件概率	极大似然估计	最优化算法，如改进的迭代算法、拟牛顿法	标注

1. 感知机

感知机，适用于线性划分的场合，常用于二类分类问题。

详情见算法：感知机及python实现

参考：

李航统计学习方法；

统计学习方法总结、应用对比相关推荐

【统计学习方法】线性可分支持向量机对鸢尾花(iris)数据集进行二分类
本文摘要 · 理论来源:[统计学习方法]第七章 SVM · 技术支持:pandas(读csv).numpy.sklearn.svm.svm思想.matplotlib.pyplot(绘图) · 代码目的 ...
统计学习方法 pdf_李航统计学习方法（第三章）
第3章 k 近邻法 k 近邻法(k-NN)是一种基于实例的学习方法,无法转化为对参数空间的搜索问题(参数最优化问题).它的特点是对特征空间进行搜索.除了k近邻法,本章还对以下几个问题进行较深入的讨论: ...
深度之眼课程打卡-统计学习方法01
目录文章目录目录前言绪论作业打卡 L1和L2范式 ROC曲线一 roc曲线二如何画roc曲线三为什么使用Roc和Auc评价分类器补充混淆矩阵参考前言为了增加实战经验,选择 ...
文本分类入门(三)统计学习方法
文本分类入门(三)统计学习方法前文说到使用统计学习方法进行文本分类就是让计算机自己来观察由人提供的训练文档集,自己总结出用于判别文档类别的规则和依据.理想的结果当然是让计算机在理解文章内容的基础上进 ...
机器学习理论《统计学习方法》学习笔记：奇异值分解（SVD）
奇异值分解(SVD) 摘要 1 奇异值分解的定义与定理 1.1 奇异值分解的定义 1.2 奇异值分解的基本定理 1.3 奇异值分解的几何解释 2 紧奇异值分解和截断奇异值分解 2.1 紧奇异值分解 2 ...
统计学习方法笔记（李航）———第五章（决策树）
一.特征选择特征选择的目的是筛选最有价值的特征,提高决策树的学习效率,同时避免无价值的特征导致模型过于复杂.这是决策树模型的理论基础,涉及信息论的一些基本内容,书中一笔带过.为了加深理解,我把书中的 ...
11_条件随机场CRF1_统计学习方法
文章目录一.条件随机场相关基本概念 1.1 条件随机场 1.2 马尔科夫随机场 1.2.1 马尔科夫 1.2.2 随机场 1.3 概率无向图模型 1.3.1 图(graph) 1.3.2 无向图 1 ...
09_期望极大法EM1_统计学习方法
文章目录一.EM算法的引入 1.极大似然估计 2.EM入场二.EM算法推导 1.Jensen不等式 2.EM推导过程 (1)统计学习方法EM推导 (2)Andrew NG关于EM算法的推导 3.统 ...
07_支持向量机1_统计学习方法
文章目录一.支持向量机的介绍二.支持向量机模型 1.何为分类间隔 (1)函数间隔 (2)几何间隔 2.分类间隔最大化 3.支持向量机中涉及的数学知识 (1)凸函数 (2)常见最优化问题 (3)拉格 ...
05_DecisionTree_统计学习方法
文章目录决策树一.特征选择: 1.信息增益 2.信息增益比 3.GiniIndex 4.使用平方误差最小化准则进行单元划分二.决策树的生成 1.ID3算法 2.C4.5算法 3.CART分类树的 ...

统计学习方法总结、应用对比

1. 感知机

统计学习方法总结、应用对比相关推荐

最新文章

热门文章