转自：Robin Shen

前言--正本清源：优化理论（运筹学），研究的是如何求解目标函数在约束条件下的最优解。机器学习、人工智能中的绝大部分问题，到最后基本都会归结为求解优化问题，因此学习优化理论是非常有必要的。机器学习中用到的优化，只是整个运筹学（最优化理论）中的一瞥。只需一门NumericalOptimization(数值优化)或ConvexOptimization(凸优化)即可。还有更简单粗暴的，书名直接叫做CONVEXOPTIMIZATION IN ENGINEERING(工程中的凸优化)--机器学习中用到的优化和运筹学相比确实挺“工程”的。

下面是三本书目和下载链接（当然是英文原版的，还是免费的）：

1，       Numerical Optimization，西北大学和美国阿贡实验室著（他引2w次）http://www.bioinfo.org.cn/~wangchao/maa/Numerical_Optimization.pdf

2，       Convex Optimization，斯坦福和UCLA教授著https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

3，       CONVEX OPTIMIZATION IN ENGINEERING Modeling AnalysisAlgorithms，以色列理工教授著http://www.st.ewi.tudelft.nl/~roos/courses/WI4218/tud00r.pdf

不喜欢看书的小伙伴，推荐Youtube（油管）搜索相关课程（当然你要自学怎么翻墙咯），很多世界名校的教授都非常无私地把自己上课视频上传油管。例如：斯坦福大学 Stephen Boyd教授在电子工程系（Electrical Engineering）开的Convex Optimization课程(EE364A，感谢评论区，该课为研究生课程）：https://www.youtube.com/watch?v=McLq1hEq3UY

说实话，运筹学出生的楼主，看到机器学习中的优化理论基本都是直接跳过的，因为实在太基础了。（喷子莫喷，学完运筹学下绝大部分优化课程再喷也不迟）运筹学作为专门研究优化理论的学科，其下分支是极为庞大的，那么机器学习中优化理论只需一门convex optimization的原因在于，机器学习处理数据之庞大，因此基本假设便目标方程和约束空间是convex和continuous。这样导致运筹学的另外半壁江山nonconvex和integer optimization（NP难问题）在机器学习的领域没有什么用武之地。当然随着计算机运算效率的提高，也开始有学者把nonconvex和integer optimization应用于机器学习，比如楼主，还有楼主最近一篇paper的合作者之一，机器学习领域的法国国立应用科学学院（INSA）及诺曼底大学的Stephane Canu教授，就是这股潮流其中之二--我们利用混合整数规划模型直接求解L0范式的优化问题(通常的策略是求解L1或Lp范式--转化成convex 和continuous)。

因此如果你纯粹做机器学习的应用，那么学convex optimization就行，并且不用太在意理论性的东西，这是运筹学的研究者去研究的；如果搞科研，建议学完convex后可以跟进nonconvex和integer programming，因为以前没人用，把没有用过的理论应用过来，效果好就是一个新发现和好paper－－欢迎入坑。

如果你想入门机器学习、人工智能，除了优化还有很多其他许多基础课程，下面给你由浅入深一一列举：https://www.zhihu.com/question/50623000/answer/121833512（想学数据分析（人工智能）需要学哪些课程？）如果对运筹学感兴趣，可以看看楼主在下面的回答：运筹学如何入门？ - 知乎