深度学习的几何观点:1流形分布定律、2学习能力的上限。附顾险峰教授简历(长文慎入,公号回复“深度学习流形分布”可下载PDF资料)

原创: 顾险峰 数据简化DataSimp 今天

数据简化DataSimp导读:深度学习基于数据本身的内在规律,揭示并利用这些规律。美国纽约州立大学石溪分校计算机系终身教授顾险峰《深度学习的几何观点:1流形分布定律、2学习能力的上限》,讲述数据科学(或信息科学)中的:1、流形分布定律:自然界中同一类别的高维数据,往往集中在某个低维流形附近。2、聚类分布定律:这一类别中不同的子类对应着流形上的不同概率分布,这些分布之间的距离大到足够将这些子类区分。(或者更为保守的,基本假设)。数据简化社区获顾教授授权,合并转发。附顾险峰教授简历。

用数学方法描述世界、解决问题,是科学发展的核心动力。知识是如何被发现产生出来,以及不同知识间的渊源和启发关系,比记住很多知识更重要。对于人类来说,文字知识是记录人类智能和思想的手段,而非终点。把文字考试作为教育目标,是极其简单粗暴不负责任的。从启迪思想来说,应试是舍本逐末,愚昧落后的教育者要负责任。AI时代来临,在大多数研究者仍然没有掌握计算机设计开发技术精髓的情况下,很难相信如何跨过计算机科学“弯道超车”步入人工智能科学。我们必须理解计算机、人工智能是如何诞生,背后的科学思想和原理是什幺?加油!只会空想空谈喊口号表忠心可不行,而浪费人财物时间精力投入骗经费的则可耻。(秦陇纪,2018)

相关文章推荐:计算机应用中存在性证明的代数拓扑方法(8565字)

目录

深度学习的几何观点:1流形分布定律、2学习能力的上限。附顾险峰简历(16210字)

01深度学习的几何观点——流形分布定律 (5009字)

02深度学习的几何观点——学习能力的上限 (5309字)

03上期:计算机应用中存在性证明的代数拓扑方法 (1398字)

04纽约石溪大学顾险峰教授简历 (3852字)

1 求学经历 2 主要贡献 3 几何之恋 4 学术交流

参考文献(253字)Appx(626字).数据简化DataSimp社区简介

:近期,哈佛大学丘成桐先生领导的团队,大连理工大学罗钟铉教授、雷娜教授领导的团队应用几何方法研究深度学习;老顾受邀在一些大学和科研机构做了题为“深度学习的几何观点”的报告,汇报了这方面的进展情况。这里是报告的简要记录,具体内容见[1]。

01深度学习的几何观点——流形分布定律 (5009字)

深度学习的几何观点(1) - 流形分布定律

文|原创:顾险峰,老顾谈几何,2018-06-04

深度学习技术正在深刻地改变着人类的历史进程,它在图像识别、语音识别、自然语言处理、文本翻译等几乎所有信息科学领域,都带来了翻天覆地的革命。我们这个时代所面临的最为根本的问题之一就是为深度学习的有效性给出一个合理的答案。

纵观人类历史的历次技术革命,火的使用,青铜器的制作工艺,农业的大规模普及,机械的应用,内燃机的发明,电力电气工业的成熟,电子计算机技术的推广,信息工业的蓬勃发展等等,无一不是建筑在深刻的自然科学原理之上的。虽然当时人类可能主观上并没有真正意识到,但是在客观上都是顺应了自然,可能是物理、化学、或者生物方面的基本定律。那么深度学习的巨大成功究竟归功于哪一条自然定律?

我们认为,和历史上的历次技术革命不同,深度学习的成功是基于两条:数据本身的内在规律,深度学习技术能够揭示并利用这些规律。数据科学(或者信息科学)中的基本定律(或者更为保守的,基本假设)可以归结为:

1. 流形分布定律:自然界中同一类别的高维数据,往往集中在某个低维流形附近。

2. 聚类分布定律:这一类别中不同的子类对应着流形上的不同概率分布,这些分布之间的距离大到足够将这些子类区分。

深度学习的主要目的和功能之一就是从数据中学习隐藏的流形结构和流形上的概率分布。

图1. 流形的定义。

关于聚类分布定律,目前有相对完善的理论基础——最优传输理论,和较为实用的算法,例如基于凸几何的蒙日-安培方程解法[2],这些方法可以测量概率分布之间的距离,实现概率分布之间的变换[3]。关于流形分布定律,目前理论发展不太完备,很多时候学习效果严重依赖于调参。但是很多实际应用问题,都可以用流形的框架来建模,从而用几何的语言来描述、梳理,用几何理论工具来加以解决,进而有望从含混模糊的经验性试错,进化到思路清晰的定量研究。

流形结构

流形是拓扑和微分几何中最为基本的概念,本质上就是很多欧氏空间粘贴在一起构成的空间。如图1所示,一个流形(manifold)是一个拓扑空间S,被一族开集所覆盖,对于每个开集存在一个同胚映射,被称为是坐标映射,称为是参数域(R是实数集合)。构成一个局部坐标卡(local chart),所有局部坐标卡构成流形的图册(atlas)。在交集,每个点可以有多个局部坐标,在局部坐标间存在变换从流形到坐标域的变换被称为是参数化,其逆变换,从局部坐标到流形的变换被称为是流形的局部参数表示。如果流形S嵌入到欧氏空间中,则欧氏空间被称为是背景空间。

例一:我们试举一例,嵌在三维欧氏空间中的单位球面是最为简单的二维流形,其局部参数表示为

这里球面是流形,三维欧氏空间是背景空间,是局部坐标。参数化映射可以写成

在深度学习中,有关流形的这些基本概念都有相应的术语,我们稍作翻译:流形上的一个点被称为是一个样本;参数域被称为是隐空间或者特征空间;参数化映射被称为是编码映射;流形的局部参数表示被称为是解码映射;点的局部坐标被称为是样本的编码特征。深度学习的主要目的和功能之一就是学习编码映射和解码映射。

图2. 流形和参数化映射。

例二:如图2所示,米勒佛曲面是三维空间中的二维流形,参数化映射将曲面映射到平面圆盘。这一映射的逆映射给出了曲面的参数化表示。这里,所有的映射都是用分片线性映射来逼近的。注意,这里参数化映射并不唯一,这会带来隐空间概率密度的变化,后面我们会对此进行详细讨论。

图3. 所有人脸图像符合流形分布定律。

例三:我们考察所有128X128的rgb彩色图像所构成的空间,记为背景空间。背景空间中的任意一个点是一张rgb图像。空间中所有人脸的图像所构成的子集记为S,我们来分析一下人脸图像集合是否符合流形分布定律。一张人脸照片主要取决于如下条件:人脸的几何形状,皮肤的纹理特征和施加的化妆品,动态表情,光照条件,相机的内外参数等,人脸几何形状由几十条基因所决定。这些因素渐变时,人脸照片也是渐变。由此,我们有理由认为所有人脸图像分布在某个低维流形S附近。当然,由于随机噪音的存在,我们只能说所有人脸图像分布在S附近,而非精确地落在S上。我们的实验表明,人脸图像流形的隐空间大概有100维左右。

那么在现实中,我们如何学习人脸图像构成的流形呢?这里所谓的“学习”意味着什么?答案是用人脸图片的样本集来训练深度神经网络,我们可以得到人脸图像流形的参数化映射(编码)和局部参数表示(解码)。

编码、解码器

图4. 自动编码解码器。

自动编码器(autoencoder)是非常基本的深度学习模型,用来学习流形结构。如图3所示,自动编码器是一个前馈网络,输入和输出维数相等,输入输出都是背景空间。中间有一个瓶颈层,瓶颈层的输出空间为特征空间。网络关于瓶颈层对称,左侧网络用于表示编码映射,记为;右侧网络用于表示解码映射,记为。损失函数等于输入、输出图像的范数。我们在流形上稠密采样,得到训练样本集,训练网络,

.

由此,我们得到了编码映射和解码映射,解码映射就是流形的一个参数表示。我们用重建的流形来逼近数据流形S。

一旦我们掌握了流形在手,我们可以完成很多传统方法无法想象的应用,也可以革新很多传统方法所涉猎的经典应用。下面我们通过几个实例来彰显流形思维框架的威力。

生成模型(Generative Model)

图5. 生成模型。

生成模型是深度学习的一个典型应用,如图5所示,输入一张低维的白噪音,输出一张逼真的人脸图像。这在传统框架下是匪夷所思的:我们妙手空空,平白无故地变出一张人脸!但在流形框架下非常简单。

我们已经训练好了网络,得到了流形的参数表示,一张白噪声图像就是一个局部参数(编码),其解码后的像在人脸图像的重建模型上,因而是一张人脸图像。我们并非妙手空空,而是拥有了丰富的先验知识:所有人脸图像构成的流形,这一流形被其参数化映射所表示,而这一映射被神经网络的权重所编码。

当然,生成图像的质量由很多因素所决定,最为重要的有两个:重建流形对数据流形S的逼近精度;白噪声图像是否在参数域中,即是否在编码映射的像集内。后面,我们会对这两个问题进行深入探讨。

图像去噪(denoising)

图像去噪是图像处理的经典问题。基于信息论,我们将带有噪音的图像进行傅里叶变换,在频域滤波,去除高频分量,然后再进行傅里叶逆变换,得到去噪图像。因为噪声往往分布在高频部分,因此这一方法比较奏效。这种经典方法比较普适,和图像内容无关。

图6. 图像去噪的流形解释。

那么用流形框架如何解释图像去噪呢?如图6所示,假设所有清晰人脸图像构成了一个流形S。一张带有噪声的人脸图片不在清晰人脸图像流形上,但是在其附近。我们将向流形投影,垂足为,即清晰人脸图像流形距离最近的点。那么,我们将p作为去除噪声后的结果。换言之,我们将图像去噪理解成几何投影。

图7. Autoencoder图像去噪结果。

图7显示了基于几何投影思路的图像去噪效果。给定一张带有噪音的人脸图像,其编码为,然后再解码,得到重建流形上的一点p,即为去噪后的图像。

图8. 左帧,输入流形和噪声点;右帧,噪声点被投影到重建的流形上。投影由Autoencoder实现。

这种方法不问噪声的形成机制,适用于各种噪声。但是这种方法严重依赖于图片内容。这里我们进行人脸图像去噪,因此需要清晰人脸图像流形。如果,我们将带噪声的人脸图像向清晰猫脸图像流形投影,所得结果不再具有任何实际意义。

这显示了用深度学习方法去噪的某种局限性,首先我们必须拥有相应的流形,其次不同类型的图像,需要不同的流形。猫脸流形无法应用于人脸图像,反之亦然。这种局限诠释了深度学习仍属于弱人工智能范畴。

年龄变换

图9. 基于深度学习的年龄变换(黄迪教授)。

如图9所示,给定一张人脸图像,生成这张脸二十年后的图像,或者倒推这张脸二十年前的图像,这种变换我们称之为人脸图像年龄变换。对于传统方法而言,人脸图像年龄变换是难以完成的任务。用深度学习的流形框架,我们可以给出清晰的解决方案。

首先我们学习所有二十岁的人脸图像流形,然后再学习所有四十岁的人脸图像流形,表示成各自的编码、解码映射:, 同时我们学习两个流形之间的映射:

这里隐空间之间的映射可以用一个深度神经网络来表示,每一个训练样本由同一个人二十岁和四十岁的一对照片所组成。在实际使用中,输入一张青年人的照片p,输出,作为同一个人中年时期的照片。

手写体数字识别

图10. 手写体数字流形。

如图10所示,我们考察所有手写体数字二值图像构成的流形,左帧是真实数据,右帧是生成数据。0到9这十个数字在此流形上定义了十个不同的概率分布。我们用编码映射将流形映射到隐空间,编码映射将这十个分布“推前”到隐空间上。为了可视化,我们将隐空间定义为二维平面,如此得到十个概率分布。

图11. 手写体数字在隐空间的概率分布。

图11显示了不同数字在隐空间的概率分布,这种流形+概率分布可以对知识进行更加详尽的表述,从而用于识别分类等问题。

深度学习有效性的几何解释

流形结构根据数据科学的流形分布定律,自然数据背后隐藏着流形结构,深度学习方法可提取这些流形结构,并用神经网络来表达流形间的映射,给出流形本身的参数化和参数表示。这些流形结构和其上的特定概率分布是整体先验知识的有效表示,正是因为具备这些先验知识,很多视觉和机器学习的问题能够被有效解决。流形能够表达一类数据的整体先验知识,传统方法只能利用局部较少的先验知识。

方法论的灵活性传统方法依赖于严格的因果关系,往往用偏微分方程来表达自然规律。很多相关性可以用概率分布来表述,用深度学习可以习得。传统方法需要自变量和因变量之间精确的数学关系,流形框架下的深度学习只需要猜测流形的存在性和大致维数就可以学出流形结构。

非线性拟合能力我们可以看到很多计算机视觉、机器学习高层次(highlevel)的问题可以用流形、流形间的映射来描述。后面我们可以看到,概率分布之间的变换可以归结为流形间的映射。流形的局部参数表示,流形的参数化,流形间的局部映射都归结为欧氏空间之间的非线性映射。深度学习的成功也依赖于深度神经网络拟合这种非线性映射的能力。

学习能力的观察

那么,深度神经网络学习流形的能力究竟如何?我们考察一个低维流形的简单例子,见微知著,从中可以观察到一些富有启发的现象。

图 12. 弥勒佛曲面,输入流形。

图13. 隐空间表示和胞腔分解。

图14. 重建流形。

我们假设背景空间是三维欧氏空间,流形是米勒佛曲面,如图12所示。我们在弥勒佛表面上稠密采样,然后训练一个自动编码器,得到编码映射和解码映射。编码映射将曲面映射到隐空间即二维欧氏空间,如图13所示;解码映射将隐空间表示映射回背景空间,得到重建流形,如图14所示。我们采用ReLU作为激活函数,编码解码映射为分片线性映射。编码映射将背景空间分解为很多胞腔,在每个胞腔内编码映射为线性映射,图13右帧画出了背景空间的胞腔分解。我们从图中可以看到重建流形比较精确地逼近了原始的输入流形,几乎保留了所有的几何细节。为了达到这一理想效果,艰苦的调参不可避免。而这正是深度学习的困难所在:缺乏理论指导的实验性调节超参数。

仔细观察这个编码、解码过程,我们看到重建曲面在很大程度上较好地逼近了输入曲面,保持了细微的几何特征,参数化映射建立了整体同胚。由此,引发了下面的问题:

如何从几何上刻画一个深度神经网络的学习能力?是否可以定义一个指标来明确表示神经网络学习能力的上限?

如何从几何上刻画一个流形被学习的难度?是否可以定义一个指标来明确表示这一难度?

对于任意一个深度神经网络,如何构造一个它无法学习的流形?

在下一讲中,我们对这些问题进行深入讨论。

小结

我们认为,深度学习的成功应该归功于数据自身具有内在的规律:高维数据分布在低维流形附近,流形上具有特定概率分布,同时归功于深度学习网络强大的逼近非线性映射的能力。深度学习技术可以从一类数据中提取流形结构,将整体先验知识用流形来表达,具体而言就是编码解码映射,隐含在神经元的权重之中。

深度学习的强大能力来源于某类知识的整体表达,而传统算法只能利用同一类别的局部有限知识。同时深度学习囿于底层流形的选择,很多算法移植性依赖于底层流形的替换。

深度学习的流形框架有助于模块化编程。我们可以想象,在未来深度的商品化硬件或软件模块将是各个类别的流形,和流形之间的映射,以及流形上概率密度之间的变换。底层的流形模块已经被AI公司训练完善,大规模产品化,用户只需要搭建这些模块就可以实现各种功能。

02深度学习的几何观点——学习能力的上限 (5309字)

深度学习的几何理解(2) - 学习能力的上限

文|原创:顾险峰,老顾谈几何,2018-06-11

上文《深度学习的几何理解(1) - 流形分布定律》引发很大反响,许多新朋老友与老顾联系,深入探讨学术细节,并给出宝贵意见和建议,在此一并深表谢意。特别是中国科学技术大学的陈发来教授提出了和传统流形学习相比较的建议;和熊楚渝先生提出通用学习机的X-形式理论等等。

图1. 巴塞罗那的马赛克(barcelona mosaic)兔子,揭示深度学习的本质。

(感谢李慧斌教授,赠送给我们艺术品,启发我们领悟深度学习。)

图2. 流形结构。

上一讲我们将深度学习成功的原因之一归功于流形分布定律:自然的高维数据往往集中在低维流形附近。深度学习的主要功能是学习流形的参数化映射(编码映射),和流形的参数化表示(解码映射),这里是隐空间,是背景空间,如图2所示;同时,学习流形间的映射,可以表示成隐空间之间的映射:

很多时候,我们在关注流形的时候,也希望能够控制其上的概率分布,这可以由流形到自身的自同胚来实现:。

流形是嵌入在背景空间之中,背景空间是欧氏空间,隐空间也是欧氏空间,因此所有流形间的映射最终都归结为欧氏空间之间的非线性映射:。深度神经网络的终极目标之一就是逼近欧氏空间之间的非线性映射。

万有逼近定理

深度学习之所以有效,一个核心原因在于深度神经网络表示的函数能够以任意精度逼近连续函数,即所谓的万有逼近定理:任意的连续函数,都可以被深度神经网络以任意精度逼近。

为了方便讨论,我们假设神经网络的激活函数为ReLU函数,定义如下:

我们将其推广到矢量输入函数, 

.

给定一个神经网络,带有k个隐层,,输入为维,输出为维,每个隐层具有个神经元。两个相邻的隐层之间有一个仿射映射,整个网络代表一个分片线性映射,.

万有逼近定理的基本证明思路如下:分片线性函数(piecewiselinear function)在希尔伯特空间中稠密,因此能够以任意精度逼近任何可积的连续函数。任意分片线性函数可以分解为分片线性凸函数之和、之差,

,

这里系数,是分片线性凸函数,

.

可以用两层神经网络来实现,隐层的激活函数为ReLU,

由此给定任意分片线性函数,我们都可以构造一个ReLU神经网络来加以实现。由此,对于给定的连续函数和误差界,我们都可以构造一个神经网络来逼近函数,其误差小于误差界。

但是,我们更为关心的是给定一个流形,给定一个深度神经网络,这个网络能否学习这个流形,即能否实现参数化映射,构造参数表示?

网络学习过程的观察

图3. 自动编码器学习一条螺旋线。

我们考察一个最为简单的例子,如图3所示,一条螺旋线嵌入在二维平面上(上行左帧),autoencoder计算了编码映射,将其映射到一维直线上(上行中帧),同时计算了解码映射,将直线映回平面,得到重建的曲线(上行右帧)。编码映射诱导了平面的胞腔分解(下行左帧),编码映射和解码映射的复合诱导了更为细致的胞腔分解(下行中帧),编码映射的水平集显示在下行右帧。

由此可见,ReLU深度神经网络的每个神经元代表一个超平面,将输入空间一分为二;众多超平面将输入空间剖分,然后将每个胞腔线性映射到输出空间,由此得到编码、解码映射的分片线性逼近。进一步,我们可以得到如下关键的观察:流形(螺旋线)被输入空间上的胞腔分解分割成很多片,每片流形所在的胞腔被线性映射到参数域上(一段直线),这个线性映射限制在流形上是拓扑同胚。

我们将这一计算框架和有限元方法进行类比。线性有限元也是将空间剖分,然后用分片线性函数来逼近目标函数。但是,在有限元方法中,空间剖分和线性逼近是分离的两个过程。在深度学习中,这两个过程混合在一起,密不可分。有限元的剖分更加局部灵活,深度学习的剖分全局刻板。同时,两者都是基于变分法则,即在函数空间中优化某种损失函数。我们可以将每个神经元的参数归一化,那么深度网络的所有参数构成一个紧集,损失函数是网络参数的连续函数,必然存在最大最小值。在传统有限元计算中,人们往往寻求凸能量,这样可以保证解的唯一性。在深度学习中,损失函数的凸性比较难以分析。

从历史经验我们知道,有限元分析中最为困难的步骤在于设计胞腔分解,这直接关系到解的存在性和计算的精度和稳定性。深度神经网络所诱导的输入空间剖分对于优化过程实际上也是至关重要的,我们可以定量地分析网络的空间剖分能力。

网络学习的能力

图4. 米勒佛的参数化(编码)映射。

我们参看弥勒佛曲面的编码映射,如图4所示,编码映射(参数化映射)可以被ReLU神经网络表示成分片线性映射,右列显示了输入空间和参数空间的胞腔分解。

令编码映射为,给定一个属于背景空间的点,那么在计算时被激活的神经元集合记为,称之为点关于的活跃路径。两个点,如果对应的活跃路径(激活神经元集合)相同,则我们说这两点关于映射彼此等价。所有彼此等价的点构成了背景空间中的一个胞腔,胞腔为凸多面体。由此,诱导了整个背景空间的一个胞腔分解,记为。同样,编码映射和解码映射的复合也诱导了背景空间的胞腔分解。显然,是的一个细分(subdivision)。我们用表示胞腔的个数。

其实,编码映射构造了一系列胞腔分解,后面的胞腔分解细分了前面的胞腔分解:

如果没有这些胞腔分解,那么神经网络所表达的映射只能是线性映射。正因为有了这些胞腔分解,才使得映射成为非线性映射。我们可以大致估算的胞腔个数,以此为网络学习能力的一个指标,我们称

为网络的分片线性复杂度(Rectified LinearComplexity)。

图5.左帧编码映射诱导的空间剖分,和右帧重建映射映诱导的空间剖分 ,是的一个细分。

图5显示了自动编码器在学习弥勒佛曲面时诱导的空间剖分,每个胞腔都是一个三维的凸多面体,被线性映射到二维参数平面上的一个低维凸多面体,可能是多边形,线段或者点。整体映射是连续的,并且限制在弥勒佛曲面上是整体拓扑同胚。这些胞腔的像显示在图4右下角。我们观察到,精细的空间剖分对于保证整体同胚性至关重要。

直接估计网络的分片线性复杂度相对困难,我们这里可以估计一个粗略的上界。我们考虑一个线性映射,这个映射相当于在d维欧氏空间中用n个超平面划分,所得胞腔数目的最大值记为 。我们首先考察最为简单的二维情形-切披萨问题:假设n刀切下去,披萨最多被切成几片?一刀把披萨切成两片,假设第n刀将披萨切成片,那么第(n+1)刀的直线和前面n条直线相交,被分成(n+1)条线段,每条线段将中的某片一分二,由此我们得到递归公式

.

由此,我们得到切披萨公式

同样推理,假设将d维欧氏空间中用n个超平面划分,所得胞腔数目为 ,第(n+1)个超平面为(d-1)维欧氏空间,被前面n个超平面划分成个胞腔,每个(d-1)维的胞腔将 中的某个d维胞腔一分为二,由此我们得到类似的递归公式

由此,我们得到欧氏空间被超平面划分所得胞腔个数的上限为:

.

我们考虑一个前馈式神经网络,输入为维,输出为维,每个隐层具有个神经元,记为

,

那么所诱导的胞腔分解最多有个胞腔。复合映射所诱导的胞腔分解满足估计:

这一粗略估计给出了神经网络所表达的所有分片线性函数的片数的上限,亦即网络分片线性复杂度的上限。这一不等式也表明:相对于增加网络宽度,增加网络的深度能够更为有效地加强网络的复杂度,即加强网络的学习能力。

流形被学习的难度

我们再来考虑一个流形被学习的困难程度。给定一个m维的流形嵌入在n为欧氏空间中,。一个自动编码器将流形编码,即参数化,这里隐空间为m维的欧氏空间,编码映射限制在流形上为拓扑同胚,即连续双射,逆映射也是连续映射。这里,流形的嵌入和编码映射的同胚为流形的可被编码性(可被学习性)提出了苛刻的拓扑和几何要求。

如果流形的维数等于隐空间的维数,编码映射将流形同胚地映射到m维的欧氏空间的区域中,,因此的拓扑和m维的欧氏空间区域的拓扑相同,这为的拓扑增加很多限制。例如不可能是闭流形。在米勒佛的例子中,为曲面,和平面某个区域同胚,则曲面必为亏格为0的多联通曲面。这意味着目前的自动编码器只能学习拓扑简单的流形,或者只能学习拓扑复杂流形的一个局部。

图6. 克莱因瓶。

如果的维数小于隐空间的维数,情形更加复杂。比如背景空间为4维欧氏空间,流形为克莱因瓶(Kleinbottle),隐空间为3维欧氏空间。那么根据矢量丛理论,克莱因瓶无法嵌入到三维欧氏空间,编码映射不存在。由此,流形的拓扑为其可学习性带来本质困难。目前,人们对于深度学习理论的理解尚未达到需要应用拓扑障碍理论的高度,我们相信未来随着深度学习方法的发展和完备,拓扑理论会被逐步引入。

图7. 可被线性编码和不可被线性编码的曲线。

其次,参数化映射为分片线性映射,限制在流形上为同胚映射,这个条件决定了学习难度。假设m维流形嵌入在n维欧氏空间中,如果存在整体线性映射,限制在流形上为拓扑同胚,那么我们说嵌入流形是线性可编码的。

图7显示了一条嵌入在平面上的曲线,左帧的曲线线性可编码,右帧的曲线不可线性编码。假如右侧曲线线性可编码,那么的水平集是一族平行直线,每条直线被称为一根纤维。每根纤维和曲线至多只有一个交点。如果一根纤维和曲线相切,我们将纤维进行微小平移,则纤维和曲线有两个交点。曲线的切线方向涵盖了所有方向,因此我们无法找到一族平行直线,每根纤维和曲线至多只有一个交点。由此曲线不可被线性编码。

这个观察可以被推广,如果m维流形嵌入在n维欧氏空间中(m<n),并且流形可被线性编码,我们来求一个必要条件。假如流形可以被同胚地垂直投影到一个(n-1)维的超平面上,那么和此超平面垂直的直线和流形至多只有一个交点。我们在流形上取相异的两点,过此两点做一条直线,那么所有这种直线都不和超平面垂直。构造映射:

,

这里是积流形,是积流形中的对角线,

,

是实射影空间,代表欧氏空间中所有的1维线性子空间(过原点的直线)。如果像覆盖整个实射影空间,那么流形向任何超平面投影都不是同胚,即流形不可被线性编码。

如图1所示,巴塞罗那的马赛克兔子,整体不可被线性编码。我们可以将流形分成很多片,每一片都是线性可编码,然后映分片线性映射来构造编码解码映射,如此分解所需要的最少片数被定义成流形的分片线性复杂度(Rectified Linear Complexity)。

图8. Peano曲线。

我们可以构造分片线性复杂度任意高的流形。图8显示了经典的皮亚诺曲线。我们首先构造一个单元,如左帧左上角红色框内所示,然后将此单元拷贝,旋转平移,重新连接,得到左帧的曲线;如果我们将单元缩小一倍,重新构造,得到右帧所示曲线。重复这一过程,我们可以构造越来越复杂的皮亚诺曲线,直至极限,极限曲线通过平面上的每一个点。在迭代过程中,每一条皮亚诺曲线所包含的单元个数呈指数增长。每个单元都是线性不可编码的,因此亚诺曲线的分片线性复杂度大于单元个数。在迭代过程中,皮亚诺曲线的分片线性复杂度呈指数增长。经过修改,Peano曲线可以经过任意维欧氏空间中的任意一点。我们将Peano曲线直积上高维球面,就可以构造(k+1)为流形,这种流形具有任意高的复杂度。

如果一个ReLU神经网络能够对一个嵌入流形进行编码,那么网络的分片线性复杂度必定不低于流形的分片线性复杂度。通过以上讨论,我们看到对于固定组合结构的神经网络,其分片线性复杂度可以被组合结构所界定,我们可以构造一个流形其复杂度超过网络复杂度的上界。由此我们得到结论:给定一个具有固定组合结构的神经网络,存在一个流形,此网络无法学习(编码)这个流形。虽然大家都在直觉上相信这一结论,但是严格的数学证明并不普遍。这里我们将人所共知的一个基本信念加以数学证明。

图9. 不同的学习效果:左帧,输入流形;右帧,Autoencoder重建的流形。

在实际应用中,深度学习具有很大的工程难度,需要很多经验性的技巧。特别是深度学习网络的学习能力取决于网络的超参数,如何设计超参数,目前主要依赖于经验。如图9所示,我们用autoencoder编码解码弥勒佛头像曲面,上面一行显示了输入输出曲面,重建后的曲面大体上模仿了米勒佛的总体形状,但是失去具体的局部细节。在下面一行,我们加宽了网络,修改了超参数,重建曲面的逼近精度提高很多。

小结

ReLU深度神经网络用分片线性函数来逼近一般的非线性函数:每个神经元定义一个超平面,所有的超平面将输入空间进行胞腔分解,每个胞腔是一个凸多面体。映射在每个胞腔上都是线性映射,整体上是连续的分片线性映射。编码映射限制在输入流形上是拓扑同胚。

深度神经网络将输入空间分解的最多胞腔个数定义为网络的分片线性复杂度,代表了网络学习能力的上限;流形需要被分解,每一片可以被背景空间的线性映射所参数化,这种分解所需的最少片数定义为流形的分片线性复杂度。一个网络能够学习一个流形的必要条件是:流形的复杂度低于网络的复杂度。对于任意一个网络,我们都可以构造一个流形,使得此网络无法学习。

目前所做的估计非常粗糙,需要进一步精化;对于优化过程的动力学,目前没有精细的理论结果,未来需要建立。

在深度学习的应用中,人们不单单只关心流形,也非常关心流形上的概率分布。如何通过改变编解码映射,使得重建概率分布很好地逼近数据概率分布,使得隐空间的概率分布符合人们预定的标准分布?这些是变分编码器(VAE)对抗生成网络(GAN)的核心问题。下一讲,我们讨论控制概率分布方法的理论基础【2,3】。


References

1. Na Lei, Zhongxuan Luo,Shing-Tung Yau and David Xianfeng Gu.  "Geometric Understanding ofDeep Learning". arXiv:1805.10451 .

2.https://arxiv.org/abs/1805.10451

3. Xianfeng Gu, Feng Luo,Jian Sun, and Shing-Tung Yau. "Variational principles for minkowski typeproblems, discrete optimal transport", and discrete monge-ampereequations. Asian Journal of Mathematics (AJM), 20(2):383-398, 2016.

4. Na Lei,Kehua Su,LiCui,Shing-Tung Yau,David Xianfeng Gu, "A Geometric View of OptimalTransportation and Generative Model", arXiv:1710.05488. https://arxiv.org/abs/1710.05488


03上期:计算机应用中存在性证明的代数拓扑方法 (1398字)

相关文章推荐:计算机应用中存在性证明的代数拓扑方法(8565字)。节选如下:

“代数拓扑的语言为什么这么古怪?它究竟在说些什么?我们为什么要学习代数拓扑?在计算机方面有什么实际应用吗?”这些问题令老顾陷入深思。其实老顾内心很清楚,如果这位同学潜心钻研代数拓扑,那么不出一年,他自己应该可以完全回答前面几个理论问题,假以时日,他自然会找到计算机方面的应用。但是,令老顾纠结的是目前深度学习的方法迅猛发展,几乎颠覆了计算机视觉领域的所有分支,那么是应该让这位同学潜心学习抽象的代数拓扑还是训练他实际的调参能力?

如图7所示,若当曲线定理(Jordan Curve Theorem)说平面上一条连续封闭简单曲线(无自交点)将平面分成两个分离的连通子集,内部和外部。每个子集自身都是道路连通的,但是彼此分离。这一定理非常符合人类直觉,以至于我们觉得它是不辩自明的。我们无法确认这一事实是一条定理,还是一条公理。人类也是经历了漫长岁月,才意识到这一事实需要严格证明,又花费了漫长岁月才真正给出严格的证明。那么,我们为什么需要用如此晦涩的语言来证明如此显而易见的事实呢?难道是出于数学家的孤芳自赏吗?

真正的原因在于人类的直觉并不可靠,很多貌似合理的论断都是似是而非的谬论。另一方面,人类在拓扑方面的直觉相对有限,高维情形很难建立起来想像力,唯一能够把握的只有严格的数学推导。比如,我们观察图7,Jordan曲线将平面分成道路连通的两部分,每一部分都是单连通的,亦即在曲线内部(或者外部)的任意封闭曲线都可以在内部(或者外部)逐渐缩成一个点。这一观察也非常符合直觉。这被称为是Schonflies定理。但是当我们将这两个结论推向高维的时候,我们发现直觉起不了太大作用,Jordan分离定理可以被推广,但是Schonflies定理在三维的时候就已经失效。

我们为什么这么重视如此反直觉的拓扑定理?因为这个古怪的定理可以推出区域不变性定理,而区域不变性定理可以证明大量计算机算法解的存在性,是计算机科学不可或缺的理论基础。

小结

代数拓扑非常抽象,但是深邃优美,为工程应用提供了理论基础。从增强学术修养角度而言,也是值得学习。代数拓扑的思想手法对于研究符号主义的人工智能非常有意义,她为我们提供了一个不同的视角来思考如何定义智能。

目前计算机技术发展非常迅猛,因此在一定程度上理论分析相对滞后。很多学生忽视理论修养的培养,将有限的精力全部投入到无限的调参上去,这种学习方法值得商榷。例如,在Wasserstein GAN中,有一个广为人知的困难:如果概率分布的支集(support)具有多个连通分支,那么GAN的训练收敛非常困难。很多学生百折不挠地调整参数,试图解决这一问题。根据我们的理论结果,在这种情形下,最优传输映射无法被深度神经网络表示,换言之,在DNN的框架下,解并不存在,因此工程上无论如何努力,也弥补不了理论的缺陷。

潜心研究代数拓扑,精神必将会经历一次深刻的洗礼。希望未来有一天,他能够用代数拓扑给出某个算法解的存在性证明......

纽约石溪大学教授-顾险峰2018/4/16

【老顾谈几何】邀请国内国际著名纯粹数学家,应用数学家,理论物理学家和计算机科学家,讲授现代拓扑和几何的理论,算法和应用。回复“目录”,可以浏览往期精华;回复“智商”,可以阅读“如何从大脑形状判断一个人的智商”;回复“象牙塔”,可以阅读“纯粹数学走出象牙塔”;回复“概览”,可以阅读“计算共形几何概览”。

请长按上方二维码,选择“识别图中二维码”,即可关注。

04纽约石溪大学顾险峰教授简历 (3852字)

图1 老顾近照:顾险峰

顾险峰,男,美国纽约州立大学石溪分校计算机系终身教授[2] 。

中文名:顾险峰,职业:大学教授,毕业院校:哈佛大学。

1 求学经历

顾险峰,1989年考入清华大学计算机科学与技术系,攻读基础理论方向,班主任黄连生教授。1992年获得清华大学特等奖学金。后于美国哈佛大学获得计算机博士学位,师从国际著名微分几何大师丘成桐先生。[3]目前为美国纽约州立大学石溪分校计算机系终身教授。

2主要贡献

曾获美国国家自然科学基金CAREER奖,中国国家自然科学基金海外杰出青年奖(与胡事民教授合作),“华人菲尔茨奖”:晨兴应用数学金奖[2] 。丘成桐先生和顾险峰博士团队,将微分几何,代数拓扑,黎曼面理论,偏微分方程与计算机科学相结合,创立跨领域学科“计算共形几何”广泛应用于计算机图形学,计算机视觉,几何建模,无线传感器网络,医学图像等领域。目前已经发表二百篇余篇国际论文,学术专著包括“Computational Conformal Geometry”(计算共形几何),“RicciFlow for Surface Registration and Shape Analysis”[2]等。

3 几何之恋

内容来自:清华大学计算机科学与技术系,地址:北京市海淀区清华园1号,邮编100084。

几何之恋——顾险峰

顾险峰(1989级系友)

图3 国际著名微分几何大师、菲尔茨奖得主丘成桐先生(左)和晨星集团主席陈乐宗先生(右)共同为顾险峰颁奖

2013年7月14日,台北圆山饭店,第六届世界华人数学家大会隆重召开。丘成桐先生郑重宣布华人数学最高奖-晨兴数学奖的得主。每三年颁发一次的晨星数学奖用于表彰全世界的杰出华人数学家,以鼓励他们对于数学真理的不懈追求。纯粹数学的特别金奖毫无悬念地授予了张益唐,以表彰他在孪生素数问题上的石破天惊的突破。当丘先生宣布应用数学的金奖得主时,我几乎无法相信自己的耳朵,因为他念出的是我的名字。晨星讲评选委员会一致认为,我的工作结合了纯粹数学和计算机科学,创立了一个新兴的交叉领域:“计算共形几何”,并将共形几何应用于工程和医疗方面的诸多领域,在理论和应用方面都取得了重大进展。当我从丘先生和晨星集团的陈乐宗主席手中接过金牌的时候,我心中非常清醒地认识到,这只是对我过去二十年工作的鼓励,身为计算机科学家而获得数学金奖,我的确走了一条与众不同的漫长之路,但是未来的探索之路将会更加漫长。

1989年初秋,我来到了梦寐以求的清华园,班主任黄连生老师当天就在宿舍中召开了第一次班会。他开门见山就说“人类以前所有的发明创造都是人手的延长,计算机是历史上人脑的延长。” 计算机的出现必将深刻地改变人类社会和历史。回顾二十年来所经历的计算机带来的革命,的确是翻天覆地,沧海桑田。虽然从未成为科技浪潮的弄潮儿,但是也时时处处感受到计算机技术发展的狂潮,金戈铁马,无坚不摧!黄老师告诉我们,计95班是基础理论班,这些学生都是精心筛选出来的,班中的学生包括奥林匹克数学竞赛的国际金牌得主,奥林匹克物理竞赛的佼佼者,各省高考的状元,榜眼和探花,北京市的高考前五名。我们的训练自然包括纯粹数学和计算机科学两个系的主要课程。

很快,我深刻地体会了巨大的差距和压力。我们和数学系同学一同学习陈天权老师讲授的数学分析。当时所用的教材是莫斯科大学数学系卓里奇的数学分析,起点很高。我们头三个月用来学习实数理论,学到最后我已经不知道什么是数了。我无法理解为什么最为基本的实数需要用有理数柯西列的等价类来定义,为什么实数的存在性需要连续统的公理假设。多年之后,我才逐渐理解这些貌似玄虚的哲学问题,实际上奠定了数学大厦的基础。十多年后,当我学习泛函分析和偏微分方程理论的时候,我才深深理解空间完备化的重要性。我记得陈老师讲解了函数的芽,芽的层,我们如堕云雾,不知所云。多年之后,我才知晓现代数学很多是用层的上同调的语言写就。同时,卓里奇用很多数学史上能够成为里程碑的定理的证明作为习题,其难度可想而知。第一次考试,我们全军覆没。但是,余华同学几乎满分,被我们惊为天人。余华却谦逊的笑说“我暑假里自学了一些。”当时,陈老师不停地鼓励大家, “你们只是万里长征的第一步,坚持下去必有收获。”奥数金牌得主蒋步星同学花费很多时间给大家讲解,帮助大家消化理解。黄老师也建议大家多找参考书来自学:“数学书越薄越难读,数学书越厚越容易。”于是,我选了一本最厚的北师大的数学分析。果不其然,这本书将很多艰深理论变得深入浅出,通俗易懂。很快,我们对于数学渐渐的入了门,并且日渐欣赏并陶醉其中。记得在我二十岁生日那天,我跟随刘维尔的途径证明了超越数的存在,(所谓超越数就是一个实数,它不是任何有理系数多项式方程的根。)意在超越自我。

后来,我们又开始跟随许以超老师学习高等代数。陈老师的风格是内力雄浑,对难题当头击破;许老师轻灵飘逸,四两拔千斤。许老师的课程很快使我学到了变化群下不变量的几何思想。我记得理论教研组的卢开澄老师非常推崇伽罗华理论。在一次计算理论课上,当卢教授讲到伽罗华二十出头为了爱情而决斗而死时,大发感慨道:“他着什么急嘛?”,惹得全年级上百位同学哄堂大笑。到我们后来学习了抽象代数理论,当时蒋步星说了一句一针见血的话:“求根公式的存在性等价于对称群中偶次对换群的单性。”令我们醍醐灌顶。

在大三的时候,有幸聆听了陈省身先生的一次讲座,彻底地改变了我的事业轨迹。陈先生一开始就批评清华,“偌大的清华,居然无人讲拓扑。”然后又从三角形外角和讲起,直到活动标法,微分形式上同调,纤维丛的示性类。虽然我无法完全理解,但是对于微分几何,代数拓扑,无限向往。有一次,在图书馆淘汰的数目中找到一本江泽涵的“不动点类理论”。这本书用初等的语言和工具讲解了代数拓扑的理论和方法,及其在不动点理论中的应用。其中,代数拓扑的基本定理说任何流形都可以用单纯复形任意精度的逼近,实际上近年来兴盛起来的所谓数字几何就是依循这一途径发展而来。当时,我产生了一个疑虑:所有拓扑相同的流形直接都存在拓扑同胚,但是如何算出这种同胚呢?在过去的二十年中,这一问题一直在我心头萦绕。

在本科高年级,我们的学习重心逐渐向计算机科学倾斜。很快我就意识到数学在计算机科学中的重要地位。比如,我们系张钹教授杰出的工作是用不动点理论来解决机械手拓扑路径规划问题。有一阶段,C++语言兴起,每晚的卧谈会上,大家都如火如荼地探讨面向对象的编程。蒋步星轻描淡写的一句话令我铭记至今:“所谓类就是范畴学中的范畴。”

后来出国深造,有幸在哈佛大学计算机方向攻读博士,并追随丘成桐先生学习几何。我选修了一位图灵奖得主Michael Rabin的课程。他证明传统的NP问题,大合数素因子分解问题,用概率算法是多项式可解的。而其中最为核心的方法来自有限域论。这再度使我坚信纯粹数学在计算机科学中的威力。在我为博士论文选题的时候,恰逢计算机图形卡的兴起,这使得所谓曲面参数化成为图形学的中心论题之一。当时一些学者已经提出了单连通带边界曲面的保角参数化方法。对于拓扑复杂的曲面,曲面需要先被分割成许多单连通的碎片来处理。我突然想到陈省身将局部微分几何推广到全局的方法,因而意识到曲面参数化应该存在全局方法。丘先生告诉我而这一方法的理论基础在于黎曼面理论和指标定理。

黎曼面理论的精髓之一在于所谓的单值化定理:大千世界,各种形状千变万化,但却能万宗归一。所有的曲面都可以保角地变换为三种标准曲面:球面,平面或双曲面。这一大一统的理论令我久久赞叹,深深迷恋。在那个年代,黎曼面理论只是一门抽象的纯粹数学理论,根本不存在计算方法。发展一套切实可行的计算方法来实现曲面的单值化成为我难以忘却的梦想。

经过了将近二十年的探索,和众多世界一流的数学家合作,我终于实现了这一梦想,从而将黎曼面理论转换为一门计算科学。这一计算方法的核心之一恰是用于证明庞加莱猜测的里奇曲率流。我用几何的方法理解了问题,又用计算机的方法将抽象变成现实。当在人类的历史上,一种数百年来只在数学家的脑海里出现过的“几何实在”终于由我的算法所揭示,而第一次显现在我的电脑屏幕上的时候,我终于体会到了丘成桐先生所说的“天人合一”的境界。一切挫折苦楚,一切尘世喧嚣,刹那间都微不足道了。

二十年后回头再想,我之所以能够用通过两种途径来触摸和感受亘古不变的自然真理,这一切完全归功于在清华所受的教育。深深地感谢清华的老师们和同学们,特别是理论教研组和数学系的各位教授,他们教会我几何和计算机的知识和技巧,更教会我做人的道理。

更为深邃的自然真理依然横亘在眼前,前方的道路愈加艰辛。但是我无所畏惧,因为我时刻铭记着清华的校训:“君子自强不息”!

图4 计算共形几何实例:曲面单值化,由离散里奇曲率流算出。

4 学术交流

内容来自:合肥工业大学新闻文化网《顾险峰教授应邀来我校作报告》发布日期2015-11-02。

11月1日,美国纽约州立大学石溪分校计算机系终身教授顾险峰应邀来校,为我校师生作了题为“Computational conformal geometry,theory, algorithm and applications”的报告。报告会由数学学院党委副书记、副院长江平主持。数学学院2014级、2015级全体学生到场聆听报告。

报告会上,顾险峰教授结合自身经历,分析了当前计算机在国际发展过程中前进的契机。他将专业知识与实际应用相结合,深入浅出地向同学们展示了他对计算机共形几何的研究,并通过3D动画、人脸识别等例子向同学们详细介绍了计算机共形几何的理论、算法和应用。最后,他还分享了自己与数学的不解之缘,鼓励同学们努力学习数学专业知识,建议同学们脚踏实地学习理论知识,为将来的发展奠定基础。报告会后,顾教授对同学们提出的问题进行了详细解答。[3]

图5 房虹姣/文  房虹姣/图,编辑:刘红平

词条统计:浏览8029次,编辑2次历史版本,最近更新:2018-01-14,创建者:赵88heaven。[4]

-END-

参考文献(253字)

1. 顾险峰.深度学习的几何观点(1) - 流形分布定律.[EB/OL] https://mp.weixin.qq.com/s?__biz=MzA3NTM4MzY1Mg==&mid=2650814452&idx=1&sn=3312f0134032a3094eb9c4043842f547,2018-06-04.

2. 顾险峰.深度学习的几何理解(2) - 学习能力的上限.[EB/OL] https://mp.weixin.qq.com/s?__biz=MzA3NTM4MzY1Mg==&mid=2650814456&idx=1&sn=1f0dc7373488347077d54603b765dff3,2018-06-11.

3. 顾险峰.计算机应用中存在性证明的代数拓扑方法.[EB/OL]https://mp.weixin.qq.com/s?__biz=MzA3NTM4MzY1Mg==&mid=2650814376&idx=1&sn=dbf99314b1cd933815b912af6c601890,2018-04-16.

4. 清华大学官网.几何之恋——顾险峰 - 清华大学计算机科学与技术系.[EB/OL] http://www.tsinghua.edu.cn/publish/cs/8207/2014/20140305132115249838379/20140305132115249838379_.html,2014-03-05.

5. 合肥工业大学新闻文化网.顾险峰教授应邀来我校作报告.[EB/OL]http://xq70.hfut.edu.cn/index.php?m=content&c=index&a=show&catid=161&id=29037,2015-11-02.

6. 百度百科.顾险峰.[EB/OL]https://baike.baidu.com/item/%E9%A1%BE%E9%99%A9%E5%B3%B0/,2018-01-14.

x.秦陇纪.数据科学与大数据技术专业概论;人工智能研究现状及教育应用;纯文本数据神经网络训练;大数据简化之技术体系[EB/OL].数据简化DataSimp(微信公众号)http://www.datasimp.org,2017-06-06.

深度学习的几何观点:1流形分布定律、2学习能力的上限。附顾险峰简历(16210字)

秦陇纪

简介:深度学习的几何观点:1流形分布定律、2学习能力的上限。(公号回复“深度学习流形分布”,文末“阅读原文”可下载55图20公式4码20k字26页PDF) 蓝色链接“数据简化DataSimp”关注后下方菜单项有文章分类页,欢迎转发、赞赏、支持社区。作者:顾险峰,美国纽约州立大学石溪分校计算机系终身教授。译者主编:秦陇纪,数据简化社区、科学Sciences、知识简化新媒体创立者,数据简化OS设计师、C/Java/Python/Prolog程序员,IT教师。来源:顾险峰教授微信公号授权、数据简化社区秦陇纪微信群聊公众号,引文出处请看参考文献。版权声明:科普文章仅供学习研究,公开资料©版权归原作者,请勿用于商业非法目的。秦陇纪2018数据简化DataSimp综合汇译编,投稿合作,或出处有误、侵权、错误或疏漏(包括原文错误)等,请联系DataSimp@126.com沟通、指正、授权、删除等。欢迎转发:“数据简化DataSimp、科学Sciences、知识简化”新媒体聚集专业领域一线研究员;研究技术时也传播知识、专业视角解释和普及科学现象和原理,展现自然社会生活之科学面。秦陇纪发起未覆盖各领域,期待您参与~~ 强烈谴责超市银行、学校医院、政府公司肆意收集、滥用、倒卖公民姓名、身份证号手机号、单位家庭住址、生物信息等隐私数据!

Appx(626字).数据简化DataSimp社区简介

信息社会之数据、信息、知识、理论持续累积,远超个人认知学习的时间、精力和能力。应对大数据时代的数据爆炸、信息爆炸、知识爆炸,解决之道重在数据简化(Data Simplification):简化减少知识、媒体、社交数据,使信息、数据、知识越来越简单,符合人与设备的负荷。数据简化2018年会议(DS2018)聚焦数据简化技术(Data Simplification techniques):对各类数据从采集、处理、存储、阅读、分析、逻辑、形式等方ose 做简化,应用于信息及数据系统、知识工程、各类数据库、物理空间表征、生物医学数据,数学统计、自然语言处理、机器学习技术、人工智能等领域。欢迎投稿数据科学技术、简化实例相关论文提交电子版(最好有PDF格式)。填写申请表加入数据简化DataSimp社区成员,应至少一篇数据智能、编程开发IT文章:①高质量原创或翻译美欧数据科技论文;②社区网站义工或完善S圈型黑白静态和三彩色动态社区LOGO图标论文投稿、加入数据简化社区,详情访问www.datasimp.org社区网站,网站维护请投会员邮箱DataSimp@163.com。请关注公众号“数据简化DataSimp”留言,或加微信QinlongGEcai(备注:姓名/单位-职务/学校-专业/手机号),免费加入投稿群”科学Sciences学术文献”读者微信群等。长按下图“识别图中二维码”关注三个公众号(搜名称也行,关注后底部菜单有文章分类页链接):

数据技术公众号“数据简化DataSimp”:

科普公众号“科学Sciences”:

社会教育知识公众号“知识简化”:

(转载请写出处:©秦陇纪2010-2018汇译编,欢迎技术、传媒伙伴投稿、加入数据简化社区!“数据简化DataSimp、科学Sciences、知识简化”投稿反馈邮箱DataSimp@126.com。)

普及科学知识,分享到朋友圈

转发/留言/打赏后“阅读原文”下载PDF

阅读原文

微信扫一扫
关注该公众号

深度学习的几何观点:1流形分布定律、2学习能力的上限。附顾险峰教授简历(长文慎入,公号回复“深度学习流形分布”可下载PDF资料)相关推荐

  1. 深度学习的几何观点(1) - 流形分布定律

    https://www.sohu.com/a/234251750_642762 作者:顾险峰 (最近,哈佛大学丘成桐先生领导的团队,大连理工大学罗钟铉教授.雷娜教授领导的团队应用几何方法研究深度学习. ...

  2. 神经网络、深度学习、人工智能、智能制造2018资料汇编(公号回复“AI2018资料”下载PDF资料,欢迎转发、赞赏支持科普)

    神经网络.深度学习.人工智能.智能制造2018资料汇编(公号回复"AI2018资料"下载PDF资料,欢迎转发.赞赏支持科普) 秦陇纪 科学Sciences 今天 科学Science ...

  3. 直播 | 顾险峰教授讲座:对抗生成网络的几何理论解释

    深度学习中的对抗生成网络GAN是复杂分布上无监督学习最具前景的方法之一.虽然在工程上对抗生成网络取得巨大成功,在理论上对于GAN的理解依然肤浅. 本期清华大数据"技术·前沿"系列讲 ...

  4. 报名 | 顾险峰教授讲座:对抗生成网络的几何理论解释

    深度学习中的对抗生成网络GAN是复杂分布上无监督学习最具前景的方法之一.虽然在工程上对抗生成网络取得巨大成功,在理论上对于GAN的理解依然肤浅. 本期清华大数据"技术·前沿"系列讲 ...

  5. 腾讯产品总监曹菲:深度剖析产品经理的发展之路(真心干货长文慎入)

    我从业到现在已经十年多了,这个问题是我从业五到七八年时最苦恼的话题.当时觉得这个世界太不友好了,互联网这个行业全是年轻人,30岁以上就压力非常大,我缓解这种压力的方式就是每个周末必须得去做一些我认为比 ...

  6. 深度学习和几何(演讲提要)

    感恩节来临,生活节奏终于缓慢下来.纽约长岛天空一片湛蓝,艳阳高照,满地碎金.这一阶段,老顾收到很多读者来信,大多询问深度学习和最优传输理论的关系,很多问题反映出读者的深度思考和独特见解.恰逢老顾也在研 ...

  7. 电路理论基础学习笔记(2):chap1 电路元件与电路基本定律

    电路理论基础学习笔记(2):chap1 电路元件与电路基本定律 教材:<电路理论基础>哈尔滨工业大学电工基础教研室 编 文章目录 电路理论基础学习笔记(2):chap1 电路元件与电路基本 ...

  8. 最优传输理论和生成模型的几何观点

    ©PaperWeekly 原创 · 作者|尹娟 学校|北京理工大学博士生 研究方向|随机过程.复杂网络 论文标题:A Geometric View of Optimal Transportation ...

  9. 3D Vision公开课精华 | 深度三维感知:数据、学习架构与应用

    文稿整理者 | 何常鑫 审稿&修改 |  弋力博士 本文总结于弋力博士2021年5月19日在深蓝学院关于深度三维感知的公开课--<深度三维感知:数据.学习架构与应用>. 本次公开课 ...

最新文章

  1. Visual Studio 编译任务压缩js和css文件
  2. 解决QueryTask执行中的网络请求错误
  3. 关于node.js和C交互的方法
  4. 在SE37里批量执行ABAP函数
  5. 工业级PoE交换机是如何进行工作的?使用中要注意什么?
  6. ES6特性之:Spread操作符
  7. OSError: cannot identify image file
  8. 关于 error: LNK1123: failure during conversion to COFF: file invalid or corrupt 错误的解决方案【Qt】【 VS2010】
  9. Android java和C的Socket通信demo(可用)
  10. 指尖上的学问——wi输入法开发实记
  11. Mysql环境变量配置WIN10(保姆级)
  12. 电容器单位及电容器单位换算
  13. java生成短连接(调用新浪微博api生成)
  14. 简单大学生静态HTML网页作品 HTML5+CSS大作业——圣诞节节日(7页) 带轮播特效
  15. python如何求积分_python 求定积分和不定积分示例
  16. hdu6638 Snowy Smile (最大权值和矩阵、线段树)
  17. 世上最经典的爱情诗句
  18. 【C语言】转义字符\xhh和\ddd到底如何判断?被兔子个数支配的恐惧你也有吗?(每日小细节001)
  19. 契约锁助力青岛市市立医院:报销、核酸检测及经济类合同电子签
  20. iOS Main.string国际化不起作用

热门文章

  1. Android禁止EditText弹出输入法
  2. java中什么叫服务?
  3. 金蝶EAS DEP脚本(5)给常用控件添加值改变事件
  4. Java后台+微信公众号红包发放实现
  5. Python爬虫--喜马拉雅三国音频爬取
  6. POI设置和读取excel分组信息,多级分组设置
  7. 基础30讲 第11讲 多元函数微分学
  8. Visual Studio 2019编译问题解决方法
  9. 服务器怎么备案?备案时间要多久?
  10. python-数据分析基础