机器学习的最优化问题

机器学习中的大多数问题都可以转化为最优化问题。
过程为：把一些经典问题，转化为最优化数学模型，然后用最优化方法求解。

机器学习和数据挖掘中，哪些属于最优化问题，见下表。

无约束的最优化问题，一般是描述得到最优化目标函数f(x)，然后求最值min/max f(x).
基本解法包括：梯度下降法、牛顿法（DFP、BFGS）

在机器学习中，将问题转化为最优化问题，对应如下：
线性回归、贝叶斯（最小二乘法）——最小误差、最小误差平方和
逻辑回归、ＨＭＭ——最大似然
决策树——信息熵增益最大、信息熵增益率最大
SVM——最大间隔最小化

注意：
关联规则，不是最优化问题。

参考文章
１、http://blog.csdn.net/poson/article/details/8050979

机器学习的最优化问题相关推荐

机器学习入门（09）— 偏导数、梯度概念、梯度下降法理论和实现
1. 偏导数概念对于式 4-6 而言式(4.6)有两个变量,求导数时有必要区分对哪个变量求导数,即对 x0 和 x1 两个变量中的哪一个求导数.另外,我们把这里讨论的有多个变量的函数的导数称为偏导 ...
机器学习之数学原理笔记（四）
最优化随着大数据的到来,并行计算的流行,实际上机器学习领域的很多研究者会把重点放在最优化方法的研究上,如large scale computation.那么为什么要研究最优化呢?我们先从机器学习研究 ...
Python随机梯度下降法（三）
对梯度熟悉之后,我们寻找函数的最小值(或者尽可能小的值)的位置的过程中,都是以梯度做线索,这个就是上一篇说的梯度所具备的特点决定的. 梯度法:通过不断地沿着梯度方向前进,逐渐减小函数值 ...
深度学习入门笔记（五）：神经网络的学习
专栏--深度学习入门笔记推荐文章深度学习入门笔记(一):机器学习基础深度学习入门笔记(二):神经网络基础深度学习入门笔记(三):感知机深度学习入门笔记(四):神经网络深度学习入门笔记(五) ...
【《深度学习入门》—— 学习笔记（一）】
<深度学习入门>-- 学习笔记(一)_1-4章第一章 Python入门略第二章感知机(Perception) 2.1 感知机是什么感知机接收多个输入信号,输出一个信号.x1, x ...
手写数字识别系统学习（1）
手写数字识别系统学习(1) 从这一章起,我们将通过手写数字识别这一非常经典的机器学习项目接着来学习神经网络一.数据数据和测试数据我们在上一章提到了权重和偏置的概念,这是一个相当繁琐的数据集,我 ...
[算法学习]模拟退火算法（SA）、遗传算法（GA）、布谷鸟算法（CS）、人工蜂群算法（ABC）学习笔记---附MATLAB注释代码
目录 1.模拟退火算法(Simulated Annealing,SA) 1.1 本质: 1.2 算法思想 1.3 SA流程图 1.4 模拟退火过程 1.5 SA解决TSP问题 1.6 SA改进方向 1 ...
读书笔记：梯度法求函数的最小值 gradient_method.py ← 斋藤康毅
● 由多元函数全部变量的偏导数汇总而成的向量称为梯度(gradient).梯度指示的方向是各点处的函数值减小最多的方向. ● 虽然梯度的方向并不一定指向最小值,但沿着它的方向能够最大限度地减小函数的值 ...
一文极速理解深度学习
目录引言感知机神经网络激活函数 Sigmoid函数 ReLU函数小总结输出层的设计 softmax函数小总结神经网络的学习! 损失函数均方误差交叉熵误差 mini-batch 梯度 ...

机器学习的最优化问题

机器学习的最优化问题

机器学习的最优化问题相关推荐

最新文章

热门文章