简单来说，优化分为两步：

1. 构造目标函数

构造一个合适的目标函数，使得这个目标函数取到极值的解就是你所要求的东西；（构造目标函数）

即构造出:：

obj = loss + λΩ

注意：使用因子来衡量二者的重要程度，这是权重或者系数的本质意义吧

再通俗直白地说，目标即使得模型能够自动选择分类效果好，并且尽量简单的参数：

目标函数= 模型分类正确率 + r * 模型复杂度

2. 确定最优化方法

找到一个能让这个目标函数取到极值的解的方法。（最优化方法）

即使用求得下面式子的参数w。

为了达到目的，模型的训练往往首先给参数赋上随机初值，然后用各种下降法来寻找能让分类错误率更小的参数设置，梯度下降、牛顿法、共轭梯度法和Levenberg—Marquard法都是常见的方法。

随着研究的深入，问题也越来越多，比如下降法往往只能保证找到目标函数的局部最小值，找不到全局最小值，怎么办呢？答案是不一味下降、也适当爬爬山，说不定能跳出小水沟（局部极小值）找到真正的深井（全局极小值），这种算法叫模拟退火。也可以增大搜索范围，让一群蚂蚁（蚁群算法）或者鸟儿（粒子群算法）一齐搜索，或者让参数巧妙地随机改变（遗传算法）。

。。。

什么是机器学习里的优化？相关推荐

【机器学习基础】一文搞懂机器学习里的L1与L2正则化
文章来源于SAMshare,作者flora 特征锦囊:今天一起搞懂机器学习里的L1与L2正则化今天我们来讲讲一个理论知识,也是老生常谈的内容,在模型开发相关岗位中出场率较高的,那就是L1与L2正则化 ...
halcon机器视觉算法原理与编程实战_快速弄懂机器学习里的集成算法：原理、框架与实战...
作者: 博观厚积简书专栏:https://www.jianshu.com/u/2f376f777ef1 1. 关于集成学习算法集成学习算法,通俗地讲就是:三个臭皮匠,顶个诸葛亮,这在很多地方都有 ...
怎样搞定机器学习里的数学？斯坦福高手教你具体问题具体分析
夏乙栗子发自凹非寺量子位出品 | 公众号 QbitAI 做机器学习需要多少数学基础?这是很多初学者最关心的问题,答案也众说纷纭. 有人说,概率论线性代数要预先精通:有人说,微积分要懂一点:也 ...
清华大学计算机科学与技术系朱军教授：机器学习里的贝叶斯基本理论、模型和算法...
雷锋网［AI科技评论］按:3月3日,中国人工智能学会AIDL第二期[人工智能前沿讲习班]在北京中科院自动化所举行,本期讲习班的主题为[机器学习前沿].周志华教授担任学术主任,前来授课的嘉宾均为中国机器 ...
清华大学计算机科学与技术系朱军教授：机器学习里的贝叶斯基本理论、模型和算法
[转] http://www.leiphone.com/news/201703/djm3u9LLqylr3C8N.html 雷锋网［AI科技评论］按:3月3日,中国人工智能学会AIDL第二期[人工智能 ...
机器学习里的贝叶斯基本理论、模型和算法
本文转自中国人工智能学会通讯第3期,已获授权,特此感谢! 欢迎人工智能领域技术投稿.约稿.给文章纠错,请发送邮件至heyc@csdn.net 3月3日,中国人工智能学会AIDL第二期[人工智能前沿讲习 ...
机器学习中的优化方法小结
来源|福大命大@知乎,https://zhuanlan.zhihu.com/p/158215009 前几天听了林宙辰老师的一个报告,讲的是机器学习中的优化方法[1],做个笔记.推荐机器学习的人去听听. ...
基于机器学习梯度下降优化算法来寻找最佳的线性回归模型
https://www.toutiao.com/a6638782437587419652/ 幻风的AI之路 2018-12-25 18:12:27 线性回归模型线性回归模型是一个非常简单的算法模型, ...
louvian算法缺点优化_机器学习中的优化算法(1)-优化算法重要性,SGD,Momentum(附Python示例)...
本系列文章已转至机器学习的优化器zhuanlan.zhihu.com 优化算法在机器学习中扮演着至关重要的角色,了解常用的优化算法对于机器学习爱好者和从业者有着重要的意义. 这系列文章先讲述优化算 ...
mysql 优化表_mysql里sql优化和表结构优化
开启慢查询日志计入sql show variables like 'slow_query_log';//慢查询查看状态 OFF未开启 ON开启 show variables like '%log%' ...

什么是机器学习里的优化？

优化问题

简单来说，优化分为两步：

1. 构造目标函数

2. 确定最优化方法

什么是机器学习里的优化？相关推荐

最新文章

热门文章