机器学习中的最优化问题

机器学习中的大多数问题可以归结为最优化问题。把一些典型的问题用最优化的方法建立数学模型，再最优化的方式求解。

我们再看看数据挖掘和机器学习中哪些是最优化问题，哪些不是。

名称	是否最优化	其他
关联规则	否	支持度和置信度；其实就是联合概率p（x，y）和条件概率p（y\|x）。典型的创造概念，但是没有新的东西
决策树	否	取信息增益大的结点
线性回归	是	最小化误差平方
最大熵	是	熵最大
logistic 回归	是	最大似然
SVM	是	最小化间隔
HMM	是	最大似然
贝叶斯	是	最小化误差
矩阵分解的推荐系统	是	用户和商品的隐状态向量

无约束的最优化问题，一般是描述得到最优化的目标函数f（x），然后求使得f（x）最小的x点：

min f（x）

基本解法：

基本解决包括最速下降法，牛顿法，拟牛顿中的DFP和BFGS。而BFGS中又有有限内存的BFGS作为其实现。

最速下降：x‘=x+ g（x）

牛顿法：

拟牛顿法：

BFGS

在机器学习都是把问题转化为最优化问题。我们看看有哪些应用和相应的最优化问题。

最小误差

最大似然

最大熵

最大间隔

最小化打分和预测分数的差异：

机器学习中的最优化问题相关推荐

机器学习中的数学基础（4.1）：支持向量机Support Vector Machine（SVM）
SVM可以说是一个很经典的二分类问题,属于有监督学习算法的一种.看过那么多的博客知乎解释SVM我一定要自己总结一篇,加深一下自己的理解. 带着问题去读文章会发现,柳暗花明又一村,瞬间李敏浩出现在眼前的 ...
彻底搞懂机器学习中的正则化
正则化在机器学习当中是十分常见的,本次就来比较完整地总结一下~ 首先列一下本篇文章所包含的内容目录,方便各位查找: LP范数 L1范数 L2范数 L1范数和L2范数的区别 Dropout Batch ...
一文读懂机器学习中的正则化
来源:Poll的笔记本文约2600字,建议阅读5分钟还在被正则化困扰?本文为你答疑解惑! 目录 LP范数 L1范数 L2范数 L1范数和L2范数的区别 Dropout Batch Normaliz ...
机器学习中的最优化算法总结
https://www.toutiao.com/a6672189997212238348/ 导言对于几乎所有机器学习算法,无论是有监督学习.无监督学习,还是强化学习,最后一般都归结为求解最优化问题. ...
机器学习中的常见问题—损失函数
机器学习中的常见问题--损失函数一.分类算法中的损失函数在分类算法中,损失函数通常可以表示成损失项和正则项的和,即有如下的形式: J(w)=∑iL(mi(w))+λR(w)J(w)=∑iL(mi( ...
机器学习中的损失函数
机器学习中的损失函数目录(?)[-] 一log对数损失函数逻辑回归二平方损失函数最小二乘法 Ordinary Least Squares 三指数损失函数Adaboost 四Hinge损失函数SVM ...
机器学习中的距离和损失函数
文章目录 13.1 距离度量 13.2 损失函数 13.1 距离度量距离函数种类:欧式距离.曼哈顿距离.明式距离(闵可夫斯基距离).马氏距离.切比雪夫距离.标准化欧式距离.汉明距离.夹角余弦等常用 ...
3. 机器学习中为什么需要梯度下降_机器学习中一些模型为什么要对数据归一化？...
一般做机器学习应用的时候大部分时间是花费在特征处理上,其中很关键的一步就是对特征数据进行归一化,为什么要归一化呢?很多同学并未搞清楚,维基百科给出的解释: 1)归一化后加快了梯度下降求最优解的速度蓝 ...
收藏 | 一文读懂机器学习中的正则化
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨Poll的笔记来源丨数据派THU 编辑丨极市平台 A ...

机器学习中的最优化问题

机器学习中的最优化问题相关推荐

最新文章

热门文章