七月算法机器学习4 凸优化初步
目录
心得
为什么要做优化
无限制优化问题
梯度和海森矩阵
无约束优化直接分析法的局限
无限制优化迭代法（大统一论）
深度下降法
牛顿法
一般限制优化问题
一般限制优化问题极值点一阶必要条件KKT
凸集和凸函数基础
为什么要凸优化
凸集
常见的凸集
凸函数
凸函数的一阶二阶条件
常见的凸函数
凸函数和凸集的关系
凸优化问题标准形式
心得
很多东西理解的很浮浅，基础不扎实
越往上则数学越重要，最后就是到了算法和数学
编程只是工具，抓住重点
优化一般的分为有约束和无约束的
什么是凸优化为什么又需要凸优化
为什么要做优化
无解，但我希望有一个近似解，大致相等还不错的解就可以，能满足工程的应用就好了
这样就转化成了最优化问题
工程中最关键的一步是能转化为优化问题
无限制优化问题
contour等直线或等高线
中心是函数的最小值
局部是指在个特定的领域
拐点，即就是最大值也不是最小值，但其一阶导数为0
梯度和海森矩阵
无约束优化直接分析法的局限
直接不可导，但导数只是可求解的必要条件
函数能求导，但变量太多，高度非线性，导数为零的变量不好求
解可能是集合，在其中找最大还是最 小值比较困难
无限制优化迭代法（大统一论）
主要不同在第二步探索方向如梯度下降、牛顿下山等
深度下降法
牛顿法
一般限制优化问题
一般限制优化问题极值点一阶必要条件KKT
凸集和凸函数基础
为什么要凸优化
KKT是局部最小解的必要条件
凸集
任意取两点连线在集合内
凸优化问题其可行域必须是凸集
常见的凸集
凸函数
弦在两点函数之上
左边是凸函数但不是严格的
中间是
凸函数的一阶二阶条件
常见的凸函数
凸函数和凸集的关系
凸优化问题标准形式
则是凸优化问题
hi(x)=0等式约束的要求是aTx - b = 0,即线性函数
简单的可以用kkt充要条件，内点法，牛顿法
实际问题中凸优化
七月算法机器学习4 凸优化初步相关推荐
- 机器学习数学基础--凸优化
机器学习数学基础--凸优化 1.计算几何是研究什么的? 2.计算几何理论中(或凸集中)过两点的一条直线的表达式,是如何描述的?与初中数学中那些直线方程有什么差异?有什么好处? **在计算几何理论中(或 ...
- 七月算法机器学习笔记4 凸优化
七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记
- 干货丨从基础知识到实际应用，一文了解「机器学习非凸优化技术」
文章来源:机器之心 优化作为一种研究领域在科技中有很多应用.随着数字计算机的发展和算力的大幅增长,优化对生活的影响也越来越大.今天,小到航班表大到医疗.物理.人工智能的发展,都依赖优化技术的进步. 在 ...
- 详解机器学习的凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
AI是一门入门简单,但想深入却很难的学科,这也是为什么AI高端人才一直非常紧缺的重要原因.在AI领域技术领域,我们可以说机器学习功底决定了一个人的上限也不为过.为什么?机器学习就像物理学中的数学,如果 ...
- 【001】机器学习基础-凸优化基础
为什么开篇第一件事是介绍凸优化呢,原因很简单,就是它很重要! 凸优化属于数学最优化的一个子领域,所以其理论本身也是科研领域一门比较复杂高深的研究方向,常被应用于运筹学.管理科学.运营管理.工业工程.系 ...
- 七月算法机器学习笔记8 聚类算法
七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记
- 七月算法机器学习笔记5 -- 特征工程
这套笔记是跟着七月算法四月机器学习班的学习而记录的,主要记一下我再学习机器学习的时候一些概念比较模糊的地方,具体课程参考七月算法官网:http://www.julyedu.com/ 特征工程 特征 = ...
- 七月算法机器学习笔记9 推荐系统
七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记
- 七月算法机器学习笔记1 微积分与概率论
七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记
- 七月算法机器学习笔记7 最大熵模型
七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记
最新文章
- 【Android】5.3 单选和复选
- 刘启成_编写并使用shell脚本
- 皮一皮：中文汉字真是博大精深...
- AJAX是否能够取代桌面应用程序
- 突破三个自我，你就不光是老板的料
- springboot2.3.4集成EhCache缓存框架完整代码
- js二维数组arr中表示读取第i行第j列的是:_c++ c语言 数组与字符串
- 一篇综述带你全面了解课程学习(Curriculum Learning)
- postman断言作用及怎么使用
- win32开发（文件、字体和色彩）
- C# 串口操作系列(1) -- 入门篇，一个标准的，简陋的串口例子。
- 七、Oracle学习笔记：数值函数
- 面向对象(冰箱装大象)
- android项目修改名字(app名称),运行在移动设备和模拟器上的项目名字
- PS马卡龙渐变海报制作教程
- 常用的学习软件，网站
- 北航计算机控制系统实验报告,北航计算机控制系统实验报告教程.doc
- 爬虫入门经典(四) | 如何爬取豆瓣电影Top250
- strstr 函数介绍
- 对比Google翻译、百度翻译和有道翻译