复数值神经网络matlab,学界 | Yoshua Bengio等提出深度复数网络:用复数构建深度神经网络(已开源)...
原标题:学界 | Yoshua Bengio等提出深度复数网络:用复数构建深度神经网络(已开源)
选自arXiv
机器之心编译
参与:吴攀
目前绝大多数深度学习模型中的数学都是实数值的,近日,蒙特利尔大学、加拿大国家科学院-能源/材料/通信研究中心(INRS-EMT)、微软 Maluuba、Element AI 的多名研究者(其中包括 CIFAR Senior Fellow Yoshua Bengio)在 arXiv 上发布了一篇 NIPS 2017(今年 12 月在美国 Long Beach 举办)论文,提出了一种可用于复数值深度神经网络的关键组件,该团队也已经在 GitHub 上开源了相关研究代码。机器之心对本论文进行了摘要介绍。
论文地址:https://arxiv.org/abs/1705.09792
代码地址:https://github.com/ChihebTrabelsi/deep_complex_networks
论文:深度复数网络(Deep Complex Networks)
目前,深度学习的绝大多数构建模块、技术和架构都基于实数值的运算和表征。但是,近来在循环神经网络和其它更古老的基础理论上的分析表明复数可以有更加丰富的表征能力,也可以促进对噪声鲁棒的记忆检索机制。尽管它们在带来全新的神经架构上有引人注目的性质和潜力,但由于缺少设计这种模型所需的构建模块,复数值的深度神经网络一直处于边缘化的状态。在这项研究中,我们提供了可用于复数值深度神经网络的关键基本组件,并将它们应用到了卷积前馈网络中。更准确地说,我们依靠复数卷积,提出了可用于复数值深度神经网络的复数批规范化、复数权重初始化策略,并且我们还在端到端的训练方案中对它们进行了实验。我们表明,这样的复数值模型可以实现与其对应的实数值模型相媲美或更好的表现。我们在一些计算机视觉任务和使用 MusicNet 数据集的音乐转录任务上对深度复数模型进行了测试,实现了当前最佳的表现。
1 引言
本论文的贡献如下:
1. 对复数批规范化(complex batch normalization)进行了形式化,详见 3.4 节;
2. 复数权重初始化,详见 3.5 节;
3. 在多乐器音乐转录数据集(MusicNet)上达到了当前最佳的结果,详见 4.2 节。
3 复数构建模块
在这一节,我们给出了我们研究成果的核心,为实现复数值的深度神经网络构建模块制定了数学框架。
图 1:复数卷积和残差网络实现细节
3.1 复数的表征
3.2 复数卷积
3.3 深度复数网络的深度和宽度
3.4 复数批规范化
3.5 复数权重初始化
3.6 复数卷积残差网络
4 实验结果
在这一节,我们给出了我们的模型在图像和音乐分类任务上的实验结果。首先,我们给出了我们的模型架构,然后给出了其在三个标准图像分类基准(CIFAR-10、CIFAR-100 和 SVHN)上的结果,另外还有在 MusicNet 基准上的自动音乐转录结果。
4.1 图像识别
表 1:模型架构。S1、S2 和 S3 Filters 分别是指在 stage 1、2 和 3 每一层所使用的卷积滤波器的数量。(S) 表示小网络,(L) 表示大网络。
表 2:在 CIFAR-10、CIFAR-100 和 SVHN 上的分类误差。注意 He et al. [2016] 使用了 110 层的模型
图 3:(a) 作为每次输入的实数和虚数对的 Stage 1 特征图;(b) 作为幅度和相的特征图
图 4:作为每次输入的实数和虚数对的 Stage 2 和 3 特征图
4.2 在 MusicNet 数据集上的自动音乐转录
表 3:MusicNet 实验。FS 表示采样率。Params 是参数的总数量。我们给出了平均精度(AP)指标,是指精度召回曲线(precision-recall curve)下的面积。
图 5:精度召回曲线
更多有关GMIS 2017大会的内容,请点击「阅读原文」查看机器之心官网 GMIS 专题↓↓↓返回搜狐,查看更多
责任编辑:
复数值神经网络matlab,学界 | Yoshua Bengio等提出深度复数网络:用复数构建深度神经网络(已开源)...相关推荐
- Yoshua Bengio等大神传授:26条深度学习经验
Yoshua Bengio等大神传授:26条深度学习经验 发表于2015-09-17 08:21| 13482次阅读| 来源Marek Rei| 29 条评论| 作者Marek Rei 深度学习Pyt ...
- rnn神经网络模型_ICLR 2019 | 与胶囊网络异曲同工:Bengio等提出四元数循环神经网络...
选自 openreview 作者:Titouan Parcollet 机器之心编译 近日,Yoshua Bengio 等人提出了一种新型的循环神经网络,其以四元数来编码序列输入,称为四元循环神经网络. ...
- 深度学习元老Yann Lecun详解卷积神经网络
深度学习元老Yann Lecun详解卷积神经网络 本文联合编译:Blake.高斐 雷锋网(公众号:雷锋网)注:卷积神经网络(Convolutional Neural Network)是一种前馈神 ...
- 常见的五种神经网络(4)-深度信念网络(下)篇之深度信念网络的原理解读、参数学习
该系列的其他文章: 常见的五种神经网络(1)-前馈神经网络 常见的五种神经网络(2)-卷积神经网络 常见的五种神经网络(3)-循环神经网络(上篇) 常见的五种神经网络(3)-循环神经网络(中篇) 常见 ...
- TYD深度学习入门 第六章 递归神经网络
目录 课时49 递归神经网络原理 课时52 LSTM网络结构 (长短期记忆网络) 课时49 递归神经网络原理 传统的神经网络,第一次传入神经网络的数据,对第二次传入的数据是没有影响的,样本之间 相互独 ...
- 李开复对话Yoshua Bengio:AI技术的下一个突破
7月23日,在SGInnovate主办的"深度科技(Deep Tech)造福人类"活动上,创新工场董事长兼CEO李开复与Element AI联合创始人Yoshua Bengio进行 ...
- Yoshua Bengio团队通过在网络「隐藏空间」中使用降噪器以提高深度神经网络的「鲁棒性」...
原文来源:arXiv 作者:Alex Lamb.Jonathan Binas.Anirudh Goyal.Dmitriy Serdyuk.Sandeep Subramanian.Ioannis Mit ...
- Yoshua Bengio团队通过在网络「隐藏空间」中使用降噪器以提高深度神经网络的「鲁棒性」
原文来源:arXiv 作者:Alex Lamb.Jonathan Binas.Anirudh Goyal.Dmitriy Serdyuk.Sandeep Subramanian.Ioannis Mit ...
- Yoshua Bengio等图神经网络的新基准Benchmarking Graph Neural Networks(代码已开源)
最近GNN备受关注,相信大家也都能感受到.但是,一旦我们开始阅读相关论文,开展相关的实验时,会发现一些问题. 我们一般会从节点分类数据集cora, citeseer, pubmed,图分类数据集PRO ...
- 【ML4CO论文精读】用于组合优化的机器学习:方法论之旅(Yoshua Bengio, 2021)
Machine learning for combinatorial optimization: A methodological tour d'horizon 论文:Bengio Y, Lodi A ...
最新文章
- Cmake 实例学习 一
- 从自动驾驶汽车开始,机器学习开始与物理世界交互
- protobuf生成as文件
- 终于有人把平均数、中位数和众数讲明白了
- Odd Sum Segments(CF-1196B)
- PhoneGap出现错误,找不到www/index.html页面
- Android NFC开发-实践篇
- 程序设计教程用c 语言编程,程序设计教程--用C 语言编程
- IDEA设置背景与字体大小
- vector的初始化和使用
- 三坐标测量软件DMIS语句解释
- WebRTC收集网卡地址信息 源码剖析
- C/C++ 如何判断闰年,对判断闰年条件的疑惑解答
- 这是最好的企业管理手册
- 个人所得税 java_计算个人所得税的java代码
- 【读书分享】吴军:《信息传》
- 电脑文件夹的展示方式
- iOS 3DTouch的小细节
- Android源码学习------SystemUI(二)
- Ms Sql Server 2000 个人绿色版 5.62
热门文章
- 第10节、飞鹅云打印机对接调用
- 色拉英语第3集第1幕: you flatter me
- 在vue项目中使用supermap,基于 SuperMap iClient 8C(2017) for JavaScript,底图为天地图
- [ooc-lang]一门冷门的面向对象编程的语言使用小结
- LTE 核心 MME SGW PGW作用:
- 单生狗必备之如何用Python给PLMM表白
- 三级等保 关闭111端口
- 如何用计算机计时,如何为win7计算机设置计时器关闭
- 基于改进Bisenet的五官精确分割系统(源码&教程)
- GitHub / 码云 Pages 打造个人在线简历