来源： 北京智源人工智能研究院

2019年11月1日北京智源大会全体大会及闭幕式上，被誉为“机器学习之父”的加州大学伯克利教授、智源研究院学术顾问委员会委员 Michael I.Jordan 做了题为《决策与情境：基于梯度的博弈均衡求解方法》（Decisions and Contexts: On Gradient-Based Methods for FindingGame-Theoretic Equilibria）的主题演讲。

这个演讲报告既“高屋建瓴”，Michael I.Jordan 将机器学习的前世今生划分为四个时代，指出正在到来的第四代机器学习，实践层面将是与智能市场系统的融合，理论层面将是机器学习与经济学等的融合；同时也“脚踏实地”，Michael I.Jordan 介绍了一系列他们在第四代机器学习视角下的研究进展，包括鞍点逃逸、算法加速以及基于博弈均衡机制的“多臂赌博机”等。

下面是关于Michael I.Jordan演讲的精彩要点介绍。

机器学习的四个时代

首先作为“机器学习之父”，Michael I.Jordan 以化学工程、电器工程的历史发展作为参照案例，来解读他理解中的机器学习。在上世纪20、30年代前，世上还没有“化学工程”这门学科，那时候的化学学科，仅仅是关于实验室里用试剂做实验的内容。直到后来伴随着量子科学的发展、化学工厂以及相关产品的涌现，才出现了化学工程。

电气工程学的前身是一些电子公式，但无法回答研发电路以及实现城市电气化等问题，随着人们开始思考抗阻模块、线路等，便诞生了电子工程学。

Michael I.Jordan 认为机器学习的发展，遵循着和上面两种学科类似的理论和实践结合路径：它将传统的统计、算法和推理整合在一起，同时也是工程学的拓展，涉及了人类决策、数据分析等方面的设计和系统应用，它的目标并不是取代人类，也不仅仅是人工智能，而是将人和机器系统融合在一起，包括它将整合包括统计学家、计算机科学家以及经济学家等各类人才的聪明才智，来应对、解决来自社会层面的各种挑战。

具体来说，机器学习自诞生后的几十年里鲜有突破，主要涉及数据分析和人类决策，而自上世纪90年代后，机器学习的历史发展可划分为如下四个时代。

第一代机器学习（1990~2000年）：主要应用是欺诈检测、检索和供应链管理等。欺诈检测主要是应用于电商领域，通过机器学习来鉴别、降低诈骗。比如当时在亚马逊的信用卡诈骗率曾一度是1%-3%，因此亚马逊开始使用云计算机系统，结合数据及不同算法，比如随机森林（Random Forests，简称RF），使诈骗率降到1%以下。之后，亚马逊开始在整个供应链和物流上利用机器学习进行建模，因为在跨境运输条件下，一条有效的供应链，能保证产品即使在面临台风的情况下依然能准时准确送达，这便需要大量的数据分析及各种测算。

第二代机器学习（2000~2010年）：开始涉及人类层面的研究，以推荐系统、社交媒介系统等为代表。这个阶段，我们拥有的大数据，不仅仅涉及如跨洋运输供应链等产品层面的信息，也内嵌了可供分析“消费者购买原因”的数据内容。比如两个人购买了同一本书，我们基于此进行分析，然后将这本书推荐给另一个还没有购买的潜在客户。于是推荐系统的研究，带来了巨大的行业影响，比如阿里巴巴、亚马逊等都采用了这样的机器学习应用，并进一步发展了价值几十亿资产的行业。

第三代机器学习（2010年至今）：模式识别应用，以语音识别、计算机视觉、机器翻译等为代表。此时，我们可以模拟人类的智能，或者说可以模仿人类某一方面的智能。我们主要通过数据分析来进一步分析人类智能，但并不意味着现在计算机能够捕捉所有的人类思考。计算机还需要很久的时间才能像人类一样聪明。

第四代机器学习（正在到来）：机器学习融合市场。市场相当于一种去中心化的算法系统，将消费者和商品紧密连接，把人、数据和现实中的问题和需求进行整合，成为一个可以创建经济新业态的平台，比如Uber，中国的滴滴等。这些市场算法系统和宏观经济的一些原则相类似，必须借助大数据分析，并扩大应用规模，这样才能产生更大的效果；这个市场系统可以在不同的尺度、规模下运作，适应性强，可长时间运行，用户可以自由下载进入的软件。当然这些环节中，计算机并没有代替人类，而是作为整个系统的一个总控。

Michael I.Jordan认为，迄今为止机器学习构建智能市场系统的使命远未完成，包括还没有实现将机器学习和经济学（包括经济统计学、经济测量学等）紧密结合在一起。

第四代机器学习中的研究进展

Michael I.Jordan 近十年来主要从事于“第四代机器学习”中决策方向的相关研究，包括创造市场的统计系统、分散决策的错误控制、管理边缘云端交互等。（如下图）

第四代机器学习研究问题范例

他关于决策问题的一个重要论断是，机器学习必须要考虑“因果关系”，只有这样才有可能进行大规模的工程应用，比如无人驾驶决定是否加速或停止，这不仅仅是一个阈值和输出的问题，而是要综合考虑周围汽车、街道状况后才能做出决定。

接下来，Michael I.Jordan介绍了他们团队最近取得的两项重要研究进展。

第一项研究是关于如何有效避开鞍点的问题。鞍点是深度学习中非常棘手、大量存在的问题，它会导致学习曲线变平。我们经常会看到一个学习曲线下降很快，之后很久都是平的，这便是鞍点的表现，尽管它最终会脱离鞍点继续下降，但在现实实践中，我们往往要处理高维下降到低维问题，此时会遇到十多万甚至上百万的维度干扰路径选择，用传统的梯度下降法来逃离鞍点，会十分耗费时间。

因此 Michael I.Jordan 团队在成员 Chi Jin 的主持研究下，提出了一个高效率摆脱鞍点的方案。MichaelI.Jordan 介绍说：“我们引入海森-利普希茨性质(如下图)，很明显二阶驻点是一阶驻点的扩展，这个梯度同样趋近零且不等于零，同时海森矩阵的最小特征值不严格大于等于零。我们给自己放松了一个小区间，可得到了一个收敛速度，所以可以测试达到二阶驻点速度有多快。这个算法被命名为扰动梯度下降，本质是在一般梯度下降算法的情况下偶尔增加一些随机噪音。”

扰动梯度下降算法原理

关于这个算法背后的几何原理（如下图）：鞍点周围相当于是一个饼状区域，我们如果进入这个区域会被困在里面，在鞍点上停留很长时间，这时候如果有一些随机扰动会把我们从鞍点区域踢出去，以确保不会一而再再而三地陷入困境，这个理论就是关于如何高效率地远离这个饼状区域。

扰动梯度下降算法的几何图解

第二项研究进展是关于加速算法，了解加速时会发生的状况及最快运行速度。同时 MichaelI.Jordan 认为在一个离散的点上，更快并没有太大意义，而是要根据整个持续的连续体来看究竟能多快。MichaelI.Jordan 的两个学生花了三年时间研究出通过变分、哈密顿和辛集成的视角来做加速。首先，他们发现如下图最下面的两个公式可以比传统方式运行得更快。

梯度下降的加速算法

后来发现拉格朗日函数（如下图），优化一下便能实现最快速度，这是目前能实现的最好结果。函数中有一个布雷格曼散度（Bregman Divergence），它依赖于速度，这个公式孕育出很多加速算法。Michael I.Jordan 团队还发现，布雷格曼拉格朗日函数（Bregman Lagrangian）在几何学方面具有很好的一致性，这意味着不管用什么速度，都可以在一个持续时间当中来实现这个速度，但假如把持续时间和不同公式输入到电脑中逆转推算，却无法实现。

图5：布雷格曼拉格朗日函数

接下来是辛集成（Symplectic Integration）（如下图），它是目前最好的算法，也很稳定。我们可以用特殊方式进行加速，利用拉格朗日函数、汉密尔顿函数进行表征，来解决其他许多问题。

辛集成

目前在加速和鞍点方面的问题中，Michael I.Jordan团队做了进一步的研究，尝试用汉密尔顿函数分析（如下图）的方式来解决，就是先把汉密尔顿函数分解，分别研究，然后再组合到一起，得到一个综合分析。

汉密尔顿函数分析

下面的加速算法（如下图），是针对一个非凸点问题的，它可以跟汉密尔顿函数相结合，或许能验证加速、帮助通过鞍点。

针对非凸点问题的算法加速

未来十年的研究方向：

市场与科学、决策的整合闭环

展望未来十年的研究方向，Michael I.Jordan 表示，他们将专注于科学和数学，将市场与科学、市场与决策整合，建立一个闭环链条。

Michael I.Jordan 团队目前正在实验中的一个项目，叫多臂赌博机(Multi-Armed Bandits)，这种赌博机的游戏规则简单来讲就是：假设有A到K的选项，选择一个选项后得到奖励，之后进一步增加得分，把得分最大化。这个项目中的成果已经在AB测试、药品研发等诸多领域中应用，它内蕴的博弈逻辑，实际上已经渗透到现在的市场经济各种现象之中。

按 Michael I.Jordan 的观点，对于一个有买方、卖方的匹配市场，就会存在供需匹配和排序的问题，比如很多人选择同一家餐厅，便需要对空间进行限制，比如两人选择了同样的座位，后来者就像AB测试那样输掉，当然输者就会后悔自己的决策。为此，Michael I.Jordan团队已经在建立一个名叫 Bandit Markets 的数学理论，用以验证算法、降低后悔量。这个算法叫做 Gale-Shapley。

最后，回归到决策问题，Michael I.Jordan 介绍了他们在算法上的一个最新进展。从统计学的角度来说决策问题，好比这张二乘二表中（如下图）中0和1的假设，如何测量决策成功呢？如果现实是1，实现预测也是1，或者规避现实是0、预测是1的情况，传统的方式就对专一性和高敏感度进行优化，但这种方式当数据集里发现项假的比较多时，很难有好的效果。

二乘二表模拟决策

因此 Michael I.Jordan 团队提出了贝叶斯过滤算法来控制的方案（如下图），这个算法公式可以用来展示假的发现项。

贝叶斯算法的过滤方案

以上是 Michael I.Jordan 团队用机器学习结合统计学、市场决策等，在推进第四代机器学习时代的过程中，近年来所取得的一些研究进展。Michael I.Jordan 作为机器学习领域的泰斗级人物，其历史和行业视野的前瞻性洞察和研究工作的细致入微的紧密结合，透过这场报告呈现得淋漓尽致，相信能给我们人工智能领域科研者、从业者们带来不少有益的启发。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”