PRML 十大经典机器学习算法

复习笔记，方便手机随时阅读

一、朴素贝叶斯
特性有n维。X=（x1,…,xn），假设各特征相互独立。
任务：分类、生成式模型（建模p(x,y)）
预测：用贝叶斯公式算。
训练：给定(x1,y1),…,(xN,yN), 最大化训练数据的对数似然log(P(x1,y1)…P(xn,yn))
得到各个y的先验、x的似然都=频度
平滑：设p(z|t)中，z有K个取值，则频度的分子+1, 分母+K

二、GDA
使用多变量正态分布对 x|y 建模。假设较强。
For k: x|y=k ~ N(μk,∑)
y ~ Bernoulli(β)
任务：分类、生成式模型
预测：用贝叶斯公式算
训练：β和μk 直接用频度和样本平均算；∑=(1/N)*( ∑k (xk-μk)(xk-μk)T)

三、
（1）两类LR
建模 p(y|x)=1/(1+e^(-wt*x)) ：logistic函数；其中，1/(1+e^-x)是sigmoid函数
任务：分类、判别式模型
预测：看p(y|x)与0.5大小
训练：最大似然（由于判别式假定了p(x)一样，所以最大似然可以约掉p(x)，仅对p(y1|x1)p(y2|x2)…*p(Yn|Xn)最大log似然。然后梯度下降。
（2）多类LR
Softmax取待sigmoid. W1, …, WK都是参数。
训练：最大似然（相当于最小化交叉熵（带入公式化简即可）），然后梯度下降。

四、Fisher线性判别
找一条最易分类的投影线。以得到线性判别函数。
任务：分类
预测：f(x)与T大小
训练：找w. 最大化降至1维后两均值之差除以两类内散度和。
等于

五、感知器
一种训练线性判别函数的算法。预处理：负样本*-1
While Changed:
Changed = False;
W分错则加、Changed=True，分对则减。

六、线性回归（最小二乘）
任务：回归
训练：最小化平方误差，然后梯度下降。
解释：高斯噪声下的最大似然。
正则化LMS：最小化平方误差相当于最大化后验p(w|y)

七、SVM
用间隔表示置信度
任务：分类，判别式
训练：求解二次规划，做题一般肉眼看即可。

八、PCA（又名KL
最小化重构误差 or 最大化投影后的方差
任务：降维，线性模型，无监督
过程：计算协方差矩阵-特征分解-特征值前K大的特征向量为K个投影向量-投影（内积）

九、KMEANS
最小化平方误差和

任务：聚类
过程：迭代：找各类中心点，分配点到各类
收敛性：不能保证全局最小，但会收敛。
问题：类间具有不同尺寸、密度、非球型，效果不好。

十、HMM

一种概率图模型，给定初始概率、各条件概率。
训练：频度估计概率。
预测：DP算法，注意子问题是 max{y1,…,y_{t-1}} p(x1,x2,…,xt, y1,…,y_{t-1},Yt=yt)
回溯时从T到1选最大的yt即可。

PRML 十大经典机器学习算法相关推荐

图解十大经典机器学习算法入门
弱人工智能近几年取得了重大突破,悄然间,已经成为每个人生活中必不可少的一部分.以我们的智能手机为例,看看到底温藏着多少人工智能的神奇魔术. 下图是一部典型的智能手机上安装的一些常见应用程序,可能很多人 ...
【建议收藏】图解十大经典机器学习算法——带你入门机器学习
目录机器学习机器学习的步骤 01 线性回归 02 逻辑回归 03 线性判别分析 04 分类和回归树 05 朴素贝叶斯 06 K近邻 07 学习矢量量化 08 支持向量机 09 bagging和随 ...
11月14日云栖精选夜读 | 动画+原理+代码，解读十大经典排序算法
排序算法是<数据结构与算法>中最基本的算法之一. 排序算法可以分为内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过 ...
Algorithm：【Algorithm算法进阶之路】之十大经典排序算法
Algorithm:[Algorithm算法进阶之路]之十大经典排序算法相关文章 Algorithm:[Algorithm算法进阶之路]之数据结构二十多种算法演示 Algorithm:[Algori ...
python常用代码入门-入门十大Python机器学习算法（附代码）
入门十大Python机器学习算法(附代码) 今天,给大家推荐最常用的10种机器学习算法,它们几乎可以用在所有的数据问题上: 1.线性回归线性回归通常用于根据连续变量估计实际数值(房价.呼叫次数.总销 ...
十大经典排序算法动画与解析，看我就够了
作者 | 程序员小吴转载自五分钟学算法(ID: CXYxiaowu) 排序算法是<数据结构与算法>中最基本的算法之一. 排序算法可以分为内部排序和外部排序.内部排序是数据记录在内存中进行 ...
十大经典排序算法（建议收藏）
来自:Damonare的个人博客原文:http://blog.damonare.cn/2016/12/20/十大经典排序算法总结(javascript描述)/ 0.算法概述 0.1 算法分类十种 ...
【十大经典数据挖掘算法】k-means
[十大经典数据挖掘算法]k-means https://mp.weixin.qq.com/s/SWlE-KBJ4mVza92nJFX1hg 作者简介: Treant 人工智能爱好者社区专栏作者博客 ...
【十大经典数据挖掘算法】Naïve Bayes
[十大经典数据挖掘算法]系列 C4.5 K-Means SVM Apriori EM PageRank AdaBoost kNN Naïve Bayes CART 朴素贝叶斯(Naïve Bayes) ...
python经典排序_python实现十大经典排序算法
写在前面本文参考十大经典排序算法(动图演示),这篇文章有动图显示,介绍的很详细.本文是部分内容有借鉴此博客,用python实现,有一些改进. 各种算法的时间.空间复杂度 1.冒泡排序 1.比较相邻的 ...

PRML 十大经典机器学习算法

PRML 十大经典机器学习算法相关推荐

最新文章

热门文章