“做统计学家的最大好处，就是能在所有人家的后院玩耍。”

——约翰·图基（John Tukey）

著名数学家、统计学家，快速傅里叶变换发明人

统计本质上就是在解决数据分析问题，鉴于任何领域都涉及数据分析，便也或多或少都能和统计学挂上钩。那么这样一门天生“开挂”的学科在其他工程领域又曾有过哪些推动历史车轮的应用呢？

二十世纪二十年代，英国为了提高农作物及羊毛产量，在全国范围内发动了了大量科学研究。恰在此时，统计学鼻祖、现代统计科学的奠基人之一罗纳德·艾尔默·费希尔（R.A.Fisher）在农田实验中的做法走入了公众视野，其建立起的一整套基于统计实验的推断及分析方法都对当时的整个英国经济产生了非常重大的影响。

二战结束之后的二十世纪五十年代，美国迎来大规模机器生产，产品及流程都越来越复杂，在这样的背景下，如何保证质量可靠成了一个不容回避的突出问题。这一时期的代表人物就包括统计学家威廉·爱德华兹·戴明（W. Edwards Deming）：由于最初在美国未能得到足够的重视，他在七十年代选择“出走”日本，将其此前旨在用统计学理念去改进工业生产的研究成果一并推广了过去，提出在整个生产过程中要系统地利用实验数据的基础和系统分析的方法来进行管理，对生产进行优化，从而找到一个最佳的生产状态。此后，日本在汽车工业等方面的生产水平都得到了显著提升，甚至给美国方面也造成了非常大的压力，又反过来向日本借鉴了这一套理论和方法。事实上，如今很多现代工业的发展和成熟，都离不开应用统计学家和科学家的从中推动。

现代临床试验设计、医药研发等也必须要经由严格的统计分析评审和控制。

由是观之，从农业到现代工业生产，再到生物医疗和医学的科学研究乃至金融等领域，统计学在人类历史上的作用及地位都不容小觑，只是大众往往对这一段历史知之甚少，尤其是在急需于统计学发展中提升自主研发能力的中国，对统计学重要性的认知也似乎随之湮灭在旧日的车辙。

眼下，统计学俨然已闯入了人工智能“后花园”的“院门”，曾经屡次颠覆传统思维模式的这一神奇学科遇上本质也是在做数据分析的人工智能，又将书写怎样的历史呢？

---

当前人工智能面临如下重大的理论挑战：可计算性、可解释性、泛化性，以及稳定性。围绕这些基础问题，北京智源人工智能研究院从数学、统计和计算的角度，设立了“人工智能的数理基础”重大研究方向，并在该方向首先启动了三方面研究（可解释性的新型人工智能模型，新型的机器学习算法，深度学习的基础理论），以期打破基于计算机实验和神经科学的人工智能的惯用建模范式，建立以数学与统计理论为第一原理的新一代人工智能方法论。

2019 年 5 月 13 日，“智源论坛（第2期）——人工智能的数理基础”系列报告第二场再度如约而至（本周其他智源论坛活动，请留意文末信息）。

上午 9:00，本次论坛在北京大学教授、智源研究项⽬经理夏壁灿的主持下正式开始。清华大学副教授邓柯、清华大学工业工程系统计学研究中心助理教授林乾、清华大学副教授史作强、北京大学教授杨超、北京大学副教授文再文依次分享了他们在人工智能数理基础领域的研究探索。紧接着上一场的“数学与人工智能”探讨，此次论坛将重心放到了统计学与人工智能的关系之上。

1

邓柯：不确定性推断是智能的核心

清华大学副教授 邓柯

作为国内统计学领域青年学术带头人，清华大学邓柯副教授此番率先带来了《基于统计学模型和推断的人工智能方法》主题报告，重点探讨了关于用统计学的建模和推断的方法来进行人工智能研究的问题。

邓柯的研究为从统计学角度理解 CNN 的数学本质，并为之建立不确定性推断理论提供了⼀个可能的方向。他在报道中指出，不确定性推断是智能的核心，运用统计学模型和方法可以更好地处理人工智能中的不确定性，使人工智能研究进入一个新的层次。

邓柯及其团队认为，就人工智能而言，一些不确定性的推断实际上非常重要。简而言之，智能的核心就是对不确定性的分析和处理。当然，智能的本质有很多定义，其中一种理解就是对数据和知识的有效分析和利用，这也是是一切智能的本质与核心。

在人类的发展史上，我们上下求索，最核心的任务不过是获取知识。关于获取知识，我们又有很多不同的方法和范式，总结起来无非“演绎”二字。演绎的过程就是从知识产生知识，这样的一般过程在历史中发挥了非常重要的作用。包括欧式几何理论、牛顿力学、量子力学等一系列人类杰出的成就，都是这样产生的——首先建立公理和定律，然后通过数学进行推演推理，从而形成了庞大的知识体系，这是个从知识生产知识的过程。

除此之外便是“归纳”，即从数据当中总结知识，因为最初的公理和定律一定要从数理当中来。尤其在自然科学和社会科学中，随着问题复杂性升级，有时很难进行严格的逻辑推理，这就要基于数据，通过数据分析和规律总结来获取知识，指导实践。如此一来，就构成了知识产生的一个基本形式：归纳与演绎相辅相成，然后螺旋递进，继而推动了整个人类知识的产生与发展。在这个过程当中，数据分析和以统计学为代表的数据科学起到了极其重要的作用。事实上其与信息科学、领域知识相结合，正好构成了我们数据科学的三大支柱，同时也是人工智能研究的重要领域。

其中，归纳法的哲学本质是对已有的现象给出合理解释，但这里还涉及一个非常本质的困难——不确定性的存在，就是对于同一种现象，我们其实有很多种不同的解释，这种不确定性的程度还会变化，而我们又不能决然排除任何一种解释。

在此之上，一个更加根本的挑战是当我们面临不确定性的时候，如何进行决策和推断，这是一项极其困难的运用。我们的人生充满了不确定性，我们也一直憎恶不确定性，因为当我们清楚一件事会怎样发生时，心态必然会非常轻松，权当接受其安排。而随着可能的情况多起来，决策时往往会相当纠结，陷入困境。这是困扰人类数千年的难题，人类整个科学和文化历史都是在处理这个问题。当然在过去的百余年里，出现了很多理论和方法来解决这个问题，但这个数理基础中蕴含着深刻的哲学思辨，因此至今悬而未决，数学分析和统计学分析之难由此可见一斑。

不像以数学和物理为代表的基础为逻辑推理向前分析的一些学科，统计学可谓非常困难。在数学技术构建上，我们要建立非常深的技术方法和理论框架进行分析，但其本质还是一个向前推演的过程。而以统计学为代表的数据科学则是反过来从数据中进行拉取和归纳，这就牵扯到很多思辨，在哲学上也会颇为困难。这就要求做数据分析的人要在很多积累的同时还要拥有丰富的阅历。

从这个角度来看，人工智能和统计学相结合有巨大的发展空间：

如果我们能从人工智能和统计学两个角度分别出发，将两者的优势有效结合起来，将有望极大推动人工智能的有效发展。从这一点出发，邓柯及其团队过去这些年在统计建模、统计计算，以及整个人工智能领域展开了颇多研究，其中包括不依赖大量数据进行推断的 Training-Free AI，以及如何在Deep Learning 中引入不确定性等问题。

2

林乾：深度神经网络在参数量远大于样本量时不会过拟合的几何解释

清华大学工业工程系统计学研究中心助理教授 林乾

清华大学工业工程系统计学研究中心助理教授林乾的报告主题为《Towards a statistical understanding of deep network》，其在分享过程中表示，希望能够通过高维充分性降维理论和方法，得到深度神经网络在参数量远大于样本量时不会过拟合的几何解释。

林乾在报告开篇再次强调了数学与统计学的差异，即前者确定性多一些，后者则是对问题思考的本身，哲学思辨更多。

在统计或计算机数据科学中，大家最关注的一类问题是回归和分类：我们观察的数据通常都是一些协变量，同时对一些响应变量感兴趣，通常情况下我我们会对这些数据进行建模，建模时一般认为这些数据间有关系，然后用协变量对响应变量做解释。

第一个，也是大家司空见惯的就是有一个线性回归，就认为 Y 是线性依赖于我们的响应变量，统计中很多时候没办法做到确定性，对于没观察到的/不知道的，通常会作为一个噪音引入。这就可能涉及到很多问题，比如观察到的 X 太少，导致噪音特别大等。从线性模型提出，到现在至少半个世纪过去了，高维数据的分析已经研究得很透彻，这个模型有一个很明显的缺陷，就是此时的 Y 线性依赖于 X，如果 Y 是零一变量，就肯定没法用线性模型。

这时就会转向 Logistic regression，考虑 Y=1 给定 X 的概率密度的比值。从这两个模型来看，我们的假设都是说，如果给定 X 指向一个方向的投影，试图用这个投影去解释 Y。

这种情况下如果更进一步来看单指标模型，Y 可以非参依赖于这个投影，F 是一个不知道的函数，此时可以用非参的方法或是其他方法，就相当于增加一种建模方法。但和前面一样，你假定 X 给定一个方向去解释 Y，这一点我们即使在做 PCA 的时候，都知道一个 Principal Component 可能不能解释大部分方差，所以我们可以把这个模型变得更加广泛一点，变成多指标模型，我可以考虑 X 向若干个方向的投影，投影下来之后，我再用这些东西来解释 Y，所以这里实际上是两步过程，先做一个降维（Dimension Reduction），再做一个非参数回归，或者用其他办法。

这里假定 X 是不知道的，当然这个模型很宽泛，我们能想到的所有模型都可以由它来逼近。但这里的问题是，这个时候 β₁、β_d 没办法单独估计，丢失了可识别性。相对来说它的好处是，这时 β₁ 到 β_d 张成的空间是可以估计的，所以这两个观察又使大家在过去二十年提出了一个充分性降维（Sufficient Dimension Reduction，SDR）的统计框架，主要想法就是，如果认为数据是从这样一个模型出来的，我们主要的着力点就在于估计由 β₁ 到 β_d 张成的空间，得到这个空间之后再去做非参数回归，所以这个想法相对简单。在过去若干年也产生了很多方法，例如 Sliced inverse regression、Sliced Average Variance Estimation 等很多，过去二十多年基本上都是围绕这一思路来提出这种算法。

当然回过头来看，大家对线性回归已经研究得很好了，都觉得如果这个模型是线性的，就可以解决所有问题。现在我们对机器学习的要求是可解释性和稳健性等，但如果我们提的要求线性模型都做不到，也就不应该再对一般模型提更多要求。

对于线性模型，如果不做任何假设，样本量小于维数时，就无法估计 β。二十世纪九十年代到二十一世纪初，有提出可以加 Sparsity Assumption，这一时期的代表作包括 Tibshirani 的 Losso等：

对线性模型而言是如此，那么单指标模型是否也同样存这些问题？

过去 20 年来，以分片逆回归为代表的充分性降维方法在实际应用中取得了很多成功，但是对于高维数据，这些方法都面临各种各样的不足。领域内的专家一直希望能够建立相对丰富的充分性降维方法的高维理论。

林乾过去几年主要致力于从统计决策理论角度理解充分性降维问题，成功探明了分片逆回归方法在高维数据时所面临的理论障碍，并通过系列工作建立了从线性回归到非线性多指标模型之间的一座桥梁，从而指出一个潜在可能性：线性回归的理论方法可以平行移植到单指标或者多指标模型中去。围绕这个突破将会产生一系列的衍生问题，从而极大地丰富充分性降维问题的理论与方法。

3

史作强：从数据到高维空间中的点云

清华大学副教授 史作强

清华大学副教授、国内计算数学领域数学科学方面的青年学术带头人史作强带来了《基于流形和偏微分方程的机器学习建模》主题报告。在各类机器学习问题中，数据往往具有非常高的维数，但是人们普遍认为数据中蕴含着低维结构。微分流形是描述高维空间中低维结构的重要数学工具。史作强团队的研究主要是利用流形和偏微分方程理解数据的内蕴结构，为机器学习建立数学模型。

下图为其工作的一个整体框架，很多数据都可以比较容易或自然地表示成一个高维空间中的点云：

如果我们有很多文本和文章，这些可能不能直接表现成点云，但可以借助字典，比如有中文的好多篇文章，可以把新华字典拿出来，从中挑选 5000 个常用字。然后可以针对每一篇文章，统计每个字在该文本中出现的频率，通过字典，就可以把一篇文章转化成五千维的一个向量，这个向量每个维数就代表这个字典里面的字在这篇文章中出现的频率。

除此之外，在自然语言处理中，我们也可以把一个词转化成一个向量。通过各种方法，很多数据都可以轻松转化成高维空间中的点云（所谓“点云”就是一堆点），但是这个维数可能会非常高，几千维、上万维，甚至上百万维都有可能。维数非常高，就意味着我们难于直接理解。现在我们总说大数据，但是在高维空间里面，所有大数据都是小数据。所以说，如果在高维空间中得到一个点云，要加以理解的前提，是其中必须包含某种低维结构，不可能是完全的高维结构。

为了描述这样一个高维空间中的低维的结构，数学上有一个非常重要的工具，就是所谓的流形，这是数学上一个非常成熟的的概念。我们主要的想法就是我们用流形来对高维点云进行建模，假设这个点云可能落在低维流形的附近。但流形在很高维的空间里，我们人很难直接想象，可能其结构也非常复杂，难有直接的手段描述。比如我们知道一个最直接的手段，就是对其进行参数化，但是我们在高维空间很难找到流形的一个合适的参数化表示。因此必须用间接手段对其进行研究。

基于个人研究背景，史作强团队用偏微分方程作为工具来研究流形——找一个偏微方程，看这个偏微方程在流形上面的解，通过个偏微方程的解反过来告诉这个流形有怎样的结构，这个流形的结构就可以告诉我们数据里面有什么样的结构。

事实上，这里用 PDE 来研究流形也并非首创，著名数学家丘成桐的重要贡献之一，就是就是开创了用 PDE 研究微分流形的这么一种方法，即现在被称为几何分析的领域。所以在纯数学中用 PDE 研究微分流形是一个非常重要的研究领域，有很多相关工作。对于我们而言，这也有着独特的困难：

① 流形在非常高维的空间里，首先要找到一个合适的 PDE 来对其进行建模，这是一个数学建模的问题。虽然众所周知 PDE 有无穷多种，但并不一定所有 PDE 都适合研究这样的数据中产生的流形。

② 就算已经找到认为合适的一个 PDE，下面的问题是怎样在这个流形求解这个 PDE。有时候并不知道流形解析的具体表达形式，比如是一个球面或是一个双曲面。唯一知道的，就是这个数据告诉我的这一堆点，我们假设这一堆点是流形一个离散，这堆点的分布可能非常乱，因为其来自数据而非我们的自主选择。所以我们就是要在高维空间里面一堆杂乱无章的点上设计数字方法来求解你给定的 PDE 模型。

这就是下面我们要面临的两个主要问题，一是建模问题——找到合适的 PDE；另外一个是要针对该 PDE 设计一种合适的数字方法，来离散这个 PDE，来求解它。

史作强及其团队利用微分流形、偏微分方程等数学工具，对于高维数据的偏微分方程模型的数学建模、计算方法和理论基础进行了系统的研究并取得了丰富的成果：

① 数学建模：提出了低维流形模型（Low Dimensional Manifold Model），并将其成功应用到图像处理、矩阵恢复、地震信号处理等问题中。将深度残差网络（ResNet）建模为对流方程的控制问题并提出了对流扩散方程模型。将 Laplace 方程与深层神经网络相结合，学习流形上最优的度量。提出了机器学习中偏微分方程建模的一般理论框架，利用数据基本的不变性等先验信息和偏微分方程基本的稳定性、正则性等要求对数据进行建模。

② 计算方法：提出了在高维点云上求解偏微分方程的点积分方法和加权非局部 Laplacian 方法（Weighted Nonlocal Laplacian），并将其用于低维流形模型的求解和高维点云上插值函数的计算。

③ 理论分析：对于二阶椭圆方程证明了点积分方法具有对称性、强制性、极值原理等优良的理论性质，在此基础上证明了点积分方法的收敛性并给出了收敛精度估计。证明了加权非局部 Laplacian 方法的收敛性。

4

杨超：人工智能正在颠覆传统，未来还有很多谜团在等着我们

北京大学教授 杨超

短暂的茶歇之后，北京大学教授杨超为大家开启了本次论坛的下半场报告。杨超教授曾获得国际高性能计算应用最高奖“戈登·贝尔”奖，是国内高性能计算领域学术带头人，他这一次的报告主题是《采用人工神经网络求解偏微分方程初探》，针对经典的偏微分方程，探索采用人工神经网络求解的方法在精度、灵活性等方面的潜在优势。

所谓人工神经网络 (Artificial Neural Network, ANN) ，是一种采用类似于神经突触联接的结构进行信息处理的数学模型，也可以理解成一种工具。其在图像处理、语音处理、自然语言处理等领域都有着非常成功的应用，而杨超及其合作伙伴最初的想法也很简单——想知道这个工具在做他们关心的事情时能产生什么样的效果。

除此之外，还有一个非常有趣的情况：2018 年 11 月 15 日，ACM 宣布了 2018 年度“戈登 · 贝尔”奖 (Gordon Bell Prize) 得主，来自美国的两个团队分享了这一奖项，其中气候应用的核心是基于 ANN 的模式分析，打破了近几十年来“全部奖项都颁给了传统科学工商计算领域应用”的管理。人工智能对传统的颠覆也已经开始显露苗头，这一风向的转变引起了杨超的关注。

为什么人工神经网络这么有效呢？一个很重要的原因在于从逼近论的角度来看，它可以理解为一个通用的函数逼近器。因为很早就有研究发现，其具有一个所谓的万能逼近性质，通俗翻译下就是：哪怕只有一层隐藏层，它基本上都能以任意精度去逼近任何可测函数，是一个非常强大的性能。但比较遗憾的是，它并没有给出逼近的量化数据，只是给出一个定性的描述，无法从中获知逼近阶。

在这样的研究背景下，杨超及其合作伙伴也调研了一系列的用人工神经网络解 PDE 的相关工作，发现方法和论文都很多，质量方面也是良莠不齐，现有方法也还存在一系列问题：

• 对解的光滑性要求较高：改善 ANN 光滑性？引入弱解……

• 边界条件难以适配：边界条件作为约束？边界条件作为惩罚项？边界条件被 ANN 吸收……

• 目标函数训练速度慢：如何引入 preconditioner？如何并行……

• 预测精度不尽人意：除了增加神经元个数和增加网络深度，如何引入 h-version，p-version......

• ……

鉴于万能逼近限制有一层隐藏限制就够了，在研究用人工神经网络解 PDE 的问题时，我们可以先从浅层做起，先把浅层玩儿明白，然后再向更复杂的问题迈进。

杨超长期致力于大规模并行计算相关的模型、算法、软件和应用研究，其中，与合作者完成的代表性成果有：

1. 面向大型科学与工程计算应用需求，提出世界首个千万核可扩展全隐式求解器算法，在非静力大气动力学模拟中多项技术指标取得国际领先，为我国首获国际高性能计算应用最高奖——“戈登·贝尔”奖，被国家自然科学基金委员会评价为“我国高性能计算应用发展的一个新的里程碑”；

2. 针对超级计算机硬件发展趋势，提出新型异构区域分解预处理算法，应用于天河2号和神威太湖之光上的高性能基准测试，分别取得HPCG、HPGMG两项世界排名第一；

3. 基于国产神威太湖之光超级计算机，主持研制具有自主知识产权的新一代高性能基础算法库软件，突破多项并行计算加速技术，支撑了材料科学、地球系统、海洋装备、高铁气动、人工智能等十余项重大科学工程应用。

杨超在报告最后的总结中表示，用 ANN 求解 PDE 是可行的，通过一些手段，可在边界条件处理、光滑性、求解速度、求解精度等方面改善计算效果。当然要问改善后的方法是否是最佳方案，或是其较之传统方法的竞争力到底有多大？这个答案现在还是未知，因为还有太多东西没有解释清楚，比如解的空间是什么样的？误差的阶是什么样的？最优性如何保证？还有很多谜团等着我们去破解。

5

文再文：针对复合函数优化和流形优化问题发展二阶最优化算法，为机器学习提供基础算法支撑

北京大学副教授 文再文

本次论坛的最后一位分享嘉宾是北京大学副教授、优秀青年基金获得者、国内优化领域青年学术带头人文再文，他为大家带来了《最优化⼆阶算法的⼀些进展》主题报告。“最优化”是数据科学重要理论与算法基础之一，文再文简要介绍了流形约束优化和复合函数优化⼆阶最优化算法的⼀些进展，及其在数据科学和人工智能中的⼀些典型应用。

首先，我们为什么要关心最优化，最优化在机器学习中又扮演着什么样的角色？大家如果对监督学习比较熟悉的话，就不难发现监督学习的很多问题本质上其实是都是优化问题，很多问题是无约束的问题，但是目标函数可以是光滑的也可以是非光滑的，这取决于目标函数的构造。这些函数里大多分成两项，分别是 Loss Function 和正则化。这两项分别什么用呢？这里将我们拿到数据记作 x_i，监督学习拿到标签是 y，以接收邮件为例，我们邮件内容是 x_i；标签的话，比如收到的邮件是归到垃圾邮件箱还是正常收件箱，0 或者 1，这是标签。所以我们要训练一个模型，比如我们训练的模型是 f，它是关于数据的函数，给定一个数据参数的话，会返回一个值，训练出来到底是垃圾邮件还是正常邮件，我会跟标签对比一下。l 这个损失函数比较简单，比如二范数，或者一范数，取决于你造成什么，我们还可以写成逻辑回归的形式。

经典机器学习中，比如我们统计学里讲的函数很多时候是线性函数，所谓线性并不代表其模型一定是线性的，也可能是非线性的，比如基函数可以是非线性的，x_i 可以套一个非线性的函数，但是求的权重是线性的。

那我们现在到深度学习之后，唯一的差别就是跟函数 f 变得更复杂了，以前是线性函数，现在可以是高度非线性函数，网络架构也可以搭得非常复杂，可以很多层，激活函数也可以变得非常非线性，所以这就导致出现非光滑，或者权重非常高的问题。所谓大数据，这个“大”体现在两个方面，一是数据量特别多，二是问题本身的维数可以很大。处理的方式可以不一样，当处理的数据量非常大时，我们经常说随机采样，各种各样随机算法；处理问题维数的话也需要单独来考虑，否则计算量就会非常大。

文再文针对复合函数优化和流形优化问题发展二阶最优化算法，为机器学习提供基础算法支撑，其代表性研究成果包括：

① 流形约束优化的算法和理论：发展了流形优化的一阶方法；设计了流形优化免向量移动，能有效利用负曲率信息的正则化牛顿法和拟牛顿法；针对特征值问题结合低秩分解的高斯-牛顿算法发展了适合现代并行计算的增广子空间方法；通过谱算子理论分析不动点方程的雅可比矩阵，严格建立了电子结构计算自洽场迭代的收敛性。流形优化通用算法软件包 OptM 和 ARNT 的性能在相关系数矩阵估计、电子结构计算、玻色-爱因斯坦凝聚等多个问题得到充分验证。

② 复合函数优化的算法和理论：从一阶算法对应的单个不动点方程出发，系统发展了求解半定规划等复合凸优化的半光滑牛顿法，首次设计了非光滑优化的随机半光滑牛顿法，建立了全局收敛和以很高概率 R-超线性收敛的分析框架。

❖

参与本周更多智源论坛活动

关于主办方

北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）是在科技部和北京市委市政府的指导和支持下，由北京市科委和海淀区政府推动成立，依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。

点击“阅读原文”加入智源研究院——虚位以待！