作者丨stephenDC

来源 | 大数据与人工智能（ID:ai-big-data）

导读：生活中我们处处面临最优化的问题，比如，怎么样一个月减掉的体重最高？怎么样学习效率最高？怎么样可以最大化实现个人价值？

显然，每一个目标都受很多因素的影响，我们称之为目标函数的最优化。

优化的思路有很多种，比如基于梯度的梯度下降，基于二阶梯度的牛顿法，基于近似的二阶梯度的拟牛顿法，基于下界函数的最优化，贪婪算法，坐标下降法，将约束条件转移到目标函数的拉格朗日乘子法等等。

本文我们讨论一下基于下界函数的最优化，且将讨论的范围限定为无约束条件的凸优化。

基于下界函数的优化

在有些情况下，我们知道目标函数的表达形式，但因为目标函数形式复杂不方便对变量直接求导。这个时候可以尝试找到目标函数的一个下界函数，通过对下界函数的优化，来逐步的优化目标函数。

             

上面的描述性推导很是抽象，下面我们来看两个具体的例子，EM算法和改进的迭代尺度法。限于篇幅，我们重点推导EM算法，改进的迭代尺度法只是提及一下。

EM算法

             

              

改进迭代算法

概率模型中最大熵模型的训练，最早用的是通用迭代法GIS(Generalized Iterative Scaling)。GIS的原理很简单，大致包括以下步骤：

  • 假定初始模型（第0次迭代）为等概率的均匀分布。

  • 用第k次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；反之，将参数变大。

  • 重复步骤2，直到收敛。

GIS算法，本质上就是一种EM算法，原理简单步骤清晰，但问题是收敛太慢了。Della Pietra兄弟在1996年对GIS进行了改进，提出了IIS(Improved Iterative Scaling)算法。IIS利用log函数的性质，以及指数函数的凸性，对目标函数进行了两次缩放，来求解下界函数。详情可参阅李航的《统计学习方法》一书。

小结

本文讨论了一下基于下界函数的最优化这样一种优化思路，希望对大家有所帮助。同时也一如既往地欢迎批评指正，以及大神拍砖。

（*本文为 AI科技大本营转载文章，转载请联系原作者）

◆

精彩推荐

◆

推荐阅读

  • 百度与华为重磅合作！李彦宏：技术是百度的信仰

  • 入门必备 | 一文读懂神经架构搜索

  • 爬虫到底违法吗？这位爬虫工程师给出了答案

  • 印度人才出口：一半美国科技企业CEO是印度裔 | 数据分析中印青年

  • 为什么说“大公司的技术顽疾根本挽救不了”

  • 25 年 IT 老兵零基础写小说，作品堪比《三体》| 人物志

  • 中小企业搭建混合云，服务器如何选？

  • 从0到1 | 文本挖掘的传统与深度学习算法

  • 一览微软在机器阅读理解、推荐系统、人机对话等最新研究进展 | ACL 2019

  • 1.2w星！火爆GitHub的Python学习100天刷爆朋友圈！

你点的每个“在看”，我都认真当成了喜欢

优化思路千万种，基于下界函数的最优化效率如何？相关推荐

  1. 基于下界函数的最优化

    点击上方"大数据与人工智能","星标或置顶公众号" 第一时间获取好内容 作者丨stephenDC 这是作者的第12篇文章 导语 生活中我们处处面临最优化的问题, ...

  2. 皮肤范围检测matlab思路,一种基于S21相位的无创血糖浓度检测方法与流程

    本发明属于微波无创血糖检测技术领域,涉及血糖浓度的检测评估. 背景技术: 社会经济不断发展,随之而来的快速的生活节奏.不健康的饮食习惯.久坐缺乏适当运动的生活方式等都增加了糖尿病的发病率.糖尿病作为一 ...

  3. 基于fmincon函数的最优化计算

    x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) 求解问题的标准型为 min F(X) s.t AX <= b(线性不等式约束) AeqX = beq( ...

  4. 第七篇：使用 CUDA 进行计算优化的两种思路

    前言 本文讨论如何使用 CUDA 对代码进行并行优化,并给出不同并行思路对均值滤波的实现. 并行优化的两种思路 思路1: global 函数 在 global 函数中创建出多个块多个线程对矩阵每个元素 ...

  5. upfst是什么函数C语言,一种基于KF和STUPF组合滤波的SINS大方位失准角初始对准方法技术...

    本发明专利技术公开了一种基于KF和STUPF组合滤波的SINS大方位失准角初始对准方法,将大失准角下非线性初始对准滤波模型分解为线性与非线性两部分,建立了线性滤波模型离散化的状态方程和量测方程,采用卡 ...

  6. 基于信息熵确立权重的topsis法_一种基于改进多目标粒子群算法的受端电网储能优化配置方法与流程...

    本发明涉及受端电网中储能的规划问题,具体涉及一种基于改进多目标粒子群算法的受端电网储能优化配置方法. 背景技术: 随着煤炭等非可再生.高污染的能源总量日益减少,我国的电能结构正由火力发电向低碳化的清洁 ...

  7. 离散ziggurat算法python实现_一种基于LWE采样算法的实现与优化

    一种基于 LWE 采样算法的实现与优化 王柯翔,黎 琳,彭双和 [摘 要] 基于带错误学习问题 (Learning With Errors , LWE) 构造的密码体制 能够抵御量子攻击,它的应用效率 ...

  8. 【性能优化】网络编程 - PHP - 使用TCP长连接的一种优化思路 - 学习/实践

    1.应用场景 主要了解学习如何基于PHP使用TCP长连接的一种优化思路. 2.学习/参考 文档阅读 PHP - CGI, Fast-FGI, PHP-FPM - 学习/实践 php使用tcp长连接的一 ...

  9. matlab 平面反射,一种基于MatlabGUI平台的反射板型面优化方法与流程

    本发明属于海洋工程领域,尤其是涉及一种反射板型面优化方法. 背景技术: 在灯管安装灯座之后,由于灯管的光线照明方向呈辐射状,使得位于灯座下方的所需照射范围实际上仅能获得部分的照明亮度,其余的照明光线则 ...

最新文章

  1. 《数学之美》第11章 如何确定网页和查询的相关性
  2. python读取大文件csv内存溢出_Python，内存错误，csv文件太大
  3. JS判断是移动端还是电脑端访问该网站
  4. 美国大学生数学建模竞赛 细节问题（23条）汇总！！！
  5. 【已解决】java.lang.NullPointerException at line 15, Solution.r
  6. 前端组件化-抽象公共组件类
  7. leetcode343. 整数拆分（动态规划）
  8. mysql先删后增并发时出现死锁_MySQL死锁案例分析一(先delete，再insert，导致死锁)...
  9. python中将数组存储为二进制文件并读取
  10. 下载网页 TS视频并自动合成视频
  11. c语言编程软件支持win8,C语言编程软件vc6.0（支持win7 / win8 / 10）官方免费版6.0
  12. HTML头部文档相关标记,html头部基本标记详解
  13. 网络流24题23. 火星探险问题
  14. Luogu3307：[SDOI2013]项链
  15. IEEE1588 Precision Time Protocol（PTP）
  16. （私人收藏）商务工作学习万能简约大气PPT模板
  17. PHP7新特性-简述
  18. python 简单的Http服务器
  19. 为什么我带的00后后辈在职场平步青云，比我还先升职了该走还是留？
  20. Springboot毕设项目计算机类专业工程认证资料管理系统+e65c9（java+VUE+Mybatis+Maven+Mysql）

热门文章

  1. ubuntu12.04 alternate win7 双系统安装
  2. 安装node和spm过程
  3. 6426C Lab3 部署证书和管理注册
  4. shell版俄罗斯方块
  5. 自动驾驶汽车数据闭环方法分析
  6. 超级挂载 实现过程-代码
  7. 使用机智云APP控制战舰V3 （转）
  8. [面试]future模式
  9. 透明代理Transparent Proxy
  10. [POJ2104]K-th Number（区间第k值 记录初始状态）