150页在线书「几何深度学习」上线:利用对称性和不变性解决机器学习问题
点击上方“AI遇见机器学习”,选择“星标”公众号
重磅干货,第一时间送达
来自:机器之心
CNN、GNN、LSTM、Transformer 等深度学习模型之间的共通之处是什么?在这本书里问题得到了解答。
近十年来,数据科学和机器学习领域取得了巨大的进展。借助深度学习方法,许多高维学习任务(例如计算机视觉、蛋白质折叠)在适当的计算规模下也能够完成。虽然在高维空间中,学习通用函数是一个非常困难的问题,但大多数任务上方法不是通用的,并且物理世界的基础低维和结构存在一些必要的预定义规律。
图神经网络和几何深度学习近期的一系列进展,有希望帮助机器学习解决更加深入复杂的问题。
几何深度学习,是从对称性和不变性的角度对广义机器学习问题进行几何统一的尝试。这些原理不仅是卷积神经网络的突破性性能和图神经网络的近期成功的基础,而且还为构建新型的、面向特定问题的归纳偏差提供了一种有原则的方法。
近日,一本名为《几何深度学习》的新书通过可在各种应用程序中应用的几何统一原理来揭示其中的规律性。这种「几何统一」具有两方面的意义:一方面,它提供了一个通用的数学框架来研究一些神经网络架构,例如 CNN,RNN,GNN 和 Transformer。另一方面,它提供了一个建设性的程序,可以将先验物理知识整合到神经架构中,并提供原则性的方法来构建一些新的架构。
教你如何组建机器学习架构
《几何深度学习》(Geometric Deep Learning, Grids, Groups, Graphs, Geodesics, and Gauges)是深度学习几何统一项目的第一版在线书,作者们表示该书自 2020 年 2 月起开始写起,目前版本的页数已超过了 150 页。
该研究的四位作者 Michael M. Bronstein、Joan Bruna、Taco Cohen、Petar Veličković来自帝国理工、纽约大学、DeepMind 等研究机构。
链接:https://geometricdeeplearning.com/
arXiv 论文:https://arxiv.org/abs/2104.13478
在这本书中,研究者从对称性,不变性和群论的角度出发,试图提炼出「构建所有常用神经架构所需的知识」。涵盖了诸如 CNN、GNN、Transformer 和 LSTM 之类的常用模型,同时还包括球面卷积神经网络(Spherical CNN)、SO(3)-Transformer 和 Gauge Equivariant Mesh CNN 等新模型。
全书包括内容简介、高位空间中的学习、几何先验知识、几何域、几何深度学习模型、存在的问题与应用、历史观点共 7 章内容。以下是该书目录:
预备知识
该书作者之一,DeepMind 资深研究科学家 Petar Veličković表示:「如果你此前尚未接触过群论知识,则我们构建的一些概念看起来会有些不太真实。
为此,你可以事先观看一些作者之间视频分享的内容作为前置,也许这可以使某些无法以文字准确描述的内容变得更加「生动」。
Petar Veličković在剑桥大学的分享——图神经网络的理论基础:https://www.youtube.com/watch?v=uF53xsT7mjc
Michael Bronstein 在 ICLR 2021 上的 Keynote:https://iclr-conf.medium.com/announcing-the-iclr-2021-invited-speakers-db4aba84038a
此外,书中内容包括如下一些概念:
域:定义数据的所有「点」的集合。例如,对于图像来说,域是所有像素的集合;对于图来说,域是所有节点和边的集合。注意,该集合可能是无限的或者连续的,但是将其想象为有限的可能会让一些数学运算变得容易。
对称群:集合Ω到Ω自身双射的集合(g: Ω → Ω)。例如,通过将图像上每个像素向右移动一个 slot,并不会改变图像上的对象。
由于要求对象在进行对称变换时保持不变,因此引入了如下属性:
对称操作必须是可组合的。例如,如果将球体绕 x 轴旋转 30 度,然后绕 y 轴旋转 60 度,并假设每次旋转不会改变球体上的对象,那么连续使用多次变换,那么球体上的对象也没有发生改变,即绕 x 轴旋转 30 度,然后绕 y 轴旋转 60 度也是一种对称操作。通常,如果 g 和 h 是对称操作,那么 g o h 也是对称操作。
对称操作必须是可逆的——如果我没有更改底层对象,那么我必须能够返回自己的来源(否则意味着丢失信息)。因此如果将球体顺时针旋转 30 度,那么是可以通过逆时针旋转 30 度来「撤消」原动作的。如果 g 是对称的,则 g ^-1 必须存在(并且也是对称的),这就使得 g o g ^-1 = id (恒等)。
保持域不变的恒等函数(id)也必须是对称的。
所有这些属性相加,你就会发现所有对称集与组合运算符(o)一起组成了一个 group,这是在书中广泛使用的数学结构。
在机器学习社区中,对称性的重要性早已被人们认可,尤其是在模式识别和计算机视觉应用中,有关等变特征检测的早期工作可以追溯到 Shun’ichi Amari 和 Reiner Lenz 在上个世纪的研究。在神经网络的领域中,Marvin Minsky 和 Seymour Papert 提出的感知器的群不变性定理对(单层)感知器学习不变性的能力进行了基本界定。这是其后多层架构研究的起点,最终引向了深度学习。
参考内容:
https://towardsdatascience.com/geometric-foundations-of-deep-learning-94cdd45b451d
欢迎关注我们,看通俗干货!
150页在线书「几何深度学习」上线:利用对称性和不变性解决机器学习问题相关推荐
- 到底什么是几何深度学习?Twitter 首席科学家Bronstein深度解读
Bron 作者 | Mr Bear 编辑 | 青暮 前不久,帝国理工学院教授.Twitter 首席科学家 Michael Bronstein 发表了一篇长达160页的论文,试图从对称性和不变性的视角从 ...
- “3D几何与视觉技术”全球在线研讨会第四期~几何深度学习
上周跟大家分享了 3DGV 在线研讨会: "3D几何与视觉技术"全球在线研讨会(9月2日到12月16日) "3D几何与视觉技术"全球在线研讨会第二期 " ...
- 几何深度学习(Geometric Deep Learning)技术
几何深度学习(Geometric Deep Learning)技术 几何深度学习综述 从论文Geometric Deep Learning: Grids, Groups, Graphs, Geodes ...
- 「动手学深度学习」在B站火到没谁,加这个免费实操平台,妥妥天花板!
论 AI 圈活菩萨,非李沐老师莫属. 前有编写「动手学深度学习」,成就圈内入门经典,后又在B站免费讲斯坦福 AI 课,一则艰深硬核讲论文的视频播放量36万,不少课题组从导师到见习本科生都在追番. 如此 ...
- 2021 几何图机器学习大盘点 | 几何深度学习先驱 Michael Bronstein长文解读
导读:几何机器学习和基于图的机器学习是当前最热门的研究课题之一.在过去的一年中,该领域的研究发展迅猛.在本文中,几何深度学习先驱 Michael Bronstein 和 Petar Veličkovi ...
- Michael Brostein 最新几何深度学习综述:超越 WL 和原始消息传递的 GNN
来源:AI科技评论 本文约8500字,建议阅读15+分钟 本文叫你如何突破基于 WL 测试和消息传递机制的 GNN 的性能瓶颈. 图可以方便地抽象关系和交互的复杂系统.社交网络.高能物理.化学等研究领 ...
- 机器学习研究今年谁最火?几何深度学习成最大赢家,Reddit为提名选手吵成一团...
博雯 发自 凹非寺 量子位 | 公众号 QbitAI 机器学习今年的热门研究,会是什么? 近日,有网友在Reddit开了这么一个盘,立刻吸引了大批MLer的注意. 有人提名自监督模型,有人认为表征学习 ...
- 737 页《吴恩达深度学习核心笔记》发布,黄海广博士整理!
点击上方"AI有道",选择"置顶"公众号 重磅干货,第一时间送达 深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容 ...
- 「动手学深度学习」在B站火到没谁,加这个免费实操平台,妥妥天花板
论 AI 圈活菩萨,非李沐老师莫属. 前有编写「动手学深度学习」,成就圈内入门经典,后又在B站免费讲斯坦福 AI 课,一则艰深硬核讲论文的视频播放量36万,不少课题组从导师到见习本科生都在追番. 如此 ...
最新文章
- MATLAB实战系列(十七)-大学生数学建模赛题解析-水塔中水流量估计(附MATLAB源码)
- dos下编译运行java工程,并解决外部jar包依赖
- ZooKeeper概述与原理
- mongodb3.2 java,MongoDB学习笔记:(3)、mongodb 3.2在java环境中的简单CRUD
- [并发编程]并发编程第二篇:利用并发编程,实现计算大量数据的和
- reduction_indices的用法
- web.xml上监听器作用
- MySQL 迁移到半同步模式
- android wear 同步应用,Android Wear发布 突出语音及同步功能
- 手把手教你如何建立自己的Linux系统
- HTML—讲解分割线标签、文字居中、背景图片充满全图
- struts2自己定义拦截器
- Java常量池储存什么_JAVA常量池中存储的常量是什么
- ISO/IEC 27701:2019(隐私信息安全管理扩展要求和指南)解读(一)
- 2021-11-09水洗碳带有什么特点
- 【TP5】安装Guzzle并简单使用
- 在 Amazon SageMaker 上玩转 Stable Diffusion: 基于 Dreambooth 的模型微调
- android编程xml动画,Android中xml设置Animation动画效果详解
- 使用Python下载蓝奏云文件
- Java日志框架-SLF4J入门 [ LogBack 样例实现 ]