ODE网络:一场颠覆RNN的革命即将到来
递归神经网络是当今最常见的人工智能应用程序的核心,但我们很快就发现,它们并不适合用来解决广义时间序列问题。现在已经有几个在使用中的替代解决方案,其中有一个是刚刚出现的——ODE网络,它与我们思考解决方案的方式截然不同。
递归神经网络及其近亲LSTM是人工智能自然语言处理应用程序的核心。与其他形式的人工智能相比,RNN-NLP在现实世界中的应用要多得多,包括使用卷积神经网络识别和处理图像。
从某种意义上说,数据科学家的队伍已经分成了两组,每一组都在追求使用这两种技术开发独立的应用。从应用角度来看,这两种技术基本上不会发生重叠,因为图像处理处理的是静态数据,而RNN-NLP是将语音和文本解释为时间序列数据。
虽然RNN/LSTM仍然是大多数NLP的首选技术,但我们越是试图扩展时间序列应用,遇到的麻烦就越多。即将出现的技术可能不只是RNN的修改版本,而是对其他几种创新人工智能方法的硬分支。
第一个分支:将CNN与RNN组合使用
第一个分支是我们去年提出的将CNN和RNN结合在一个神经网络中(详见《将CNN与RNN组合使用,天才还是错乱?》)。需要解决的问题与时间序列上的图像有关,即视频,而最常见的任务是视频场景标记。事实证明,这种技术对于识别和标记视频中的情感以及根据之前在视频中见过的人来识别某些类型的人也很有用。
第二个分支:时间卷积神经网络TCN
去年,谷歌和Facebook都解决了RNN的第二类问题。因为要分析的数据扩展到DNN中的多个层,所以,在开始计算之前必须等待所有这些层都完成。这也意味着MPP实际上并不可行。虽然这个过程仍然很快,但不足以快到可以让实时语言翻译应用程序避免明显的延迟。
第二个分支导致这两家公司放弃了RNN,转而采用一种他们称之为时间卷积神经网络(TCN)的CNN变体来进行实时翻译。这看起来很像添加了“Attention”功能的CNN。因为它们的结构与CNN类似,所以可以应用MPP,于是延迟就消失了。
第三个分支:不规则时间序列
还有一些其他类型的时间序列问题是RNN无法完美解决的。它们的主要是具有连续值或者希望将具有不同频率、持续时间和起始点的时间序列数据组合在一起系统。
最后这一个分支看起来并没有那么神秘。它描述的是这样的一种情况,在你去看不同的医生时,你会看到自己的医疗记录,你有不同的预约时间间隔,有不同剂量和时间间隔的用药情况,对这些药品等有不同的身体反应,并且你的身体在以某种可测量的方式变老、变强、变好或变坏。
这就是为什么人工智能的绝大多数医疗应用都只与图像识别有关。我们在使用不规则时序AI能力方面确实存在不足,无法很好地基于不规则时间序列数据得出预测结果。
一种解决方案是将并行的医疗记录分为几星期、几天甚至是几小时的离散步骤。理论上,这样可以满足RNN所要求的离散化。但问题是,为了获得最大的收益,你必须使用非常合适的时间桶,这样会增加计算成本和复杂性。还有一个问题,那就是很多时间桶可能不包含任何数据。
因此,预测社区和医疗社区都需要一个人工智能解决方案,其性能要优于目前的RNN。
ODE网络
去年12月在蒙特利尔举行的神经信息处理系统(NIPS)大会上,来自加拿大向量研究所的研究人员提出了人工智能时间序列建模的全新概念,并被评为大会四篇最佳论文之一。
他们的系统的名字叫作“ODE网络”,是Ordinary Differential Equation Net(常微分方程网络)的缩写。但不要被误导了,ODE网络看起来一点也不像DNN,它没有节点、层或互连。这是一种使用带有反向传播的黑盒微分方程解算器的方法,在连续和离散时间序列问题上都优于RNN。换句话说,它更像是一个坚实的计算板,而不是可以被可视化为神经网络的东西。
这种方法带来了思维方式上的几个有趣的变化。例如,在使用RNN时,你可以指定层和其他超参数,然后运行实验,并查看所获得的准确性。
而在使用ODE网络时,在准确性和训练时间之间存在一个权衡。你指定了准确性级别,ODE网络将会找到实现这一目标的最佳方法,但训练时间是变化的。如果训练时间长得让人无法接受,可以指定一个较低的准确性,以便加快训练过程。一个有趣的结果可能是在训练时指定高准确性,但在测试时可以指定较低的准确性。
这篇论文(https://arxiv.org/abs/1806.07366)的内容非常全面,并提供了几个实验的结果,其中的结果明显优于RNN。但它仍处于研究阶段,但与数据科学中的大多数东西一样,这并不需要很长时间就能走向应用。
英文原文:
https://www.datasciencecentral.com/profiles/blogs/the-coming-revolution-in-recurrent-neural-nets-rnns
ODE网络:一场颠覆RNN的革命即将到来相关推荐
- 用OpenGL导演一场烟花盛会,迎接即将到来的新年
忙碌了一年,今天终于放假了.原本打算好好休息一下,没成想只过了半天就觉得有点无聊.看家人和朋友们都在忙年,那我就用OpenGL导演一场烟花盛会,献给即将到来的新年吧. 一说到OpenGL,很多人都会觉 ...
- 元宇宙与ChatGPT结合 一场颠覆式场景革命或将到来?
元宇宙和ChatGPT都是当前数字化领域中非常热门的技术和应用,两者之间也存在一定的关系,结合起来,可以为企业提供更加智能化.个性化的服务和支持,同时也可以拓展企业的市场和品牌影响力,提高企业的效率和 ...
- 谷歌对2021年的六个预测:数据和云技术的革命即将到来
来源:AI前线 作者:Debanjan Saha 译者:平川 策划:钰莹 预测是充满挑战的,因为具体的预测取决于特定的时间框.但从云应用方面表现出的趋势来说,我们 2020 年看到的一些事情可能预示着 ...
- 聊天机器人革命即将到来 开发者入局需谨慎
10月12日消息,据VentureBeat报道,毫无疑问,聊天机器人是"现在的大事(Now Big Thing)",谁都想从中分一杯羹.可是如果你犯了错误,那可能会伤及自己的企业, ...
- 透过8个行业,带你了解Web 3.0区块链网络时代的颠覆性,你的行业会被颠覆吗?...
「那是最美好的时代,那是最糟糕的时代」,这是出自狄更斯所著<双城记>的经典开头,引用到今天也同样适用. 区块链时代的到来,这是颠覆巨头们最好的时代.这篇文章以交易所.银行.保险.视频流媒体 ...
- 一场打工人革命即将来临?微软发布 Copilot
近日,微软发布 Copilot ,正如其名,作为 AIGC 时代超级个体的战车副驾,它以极易实现的功能创新降低了所有人参与这场技术升级的门槛,也让沉寂多时的 AI 领域迎来了它的 iPhone 时刻. ...
- 百度入局“造车”背后,一场4轮智能革命正在发生
1月11日,百度官宣造车. 百度表示,将正式组建一家智能汽车公司,以整车制造商的身份进军汽车行业.吉利控股集团将成为新公司的战略合作伙伴. 该消息一出,即引来汽车圈.科技圈.投资圈等多方关注,成为市场 ...
- 各种网络汇总CNN、RNN、GAN…
各种网络汇总CNN.RNN.GAN- 在深度学习十分火热的今天,不时会涌现出各种新型的人工神经网络,想要实时了解这些新型神经网络的架构还真是不容易.光是知道各式各样的神经网络模型缩写(如:DCIGN. ...
- 网络分解的时代即将到来,云服务商正在铺路 | 分析师洞察
1. 网络分解的时代即将到来,因为 Google 和 Facebook 这两大巨头已经为未来铺平了道路 多年以来,不少互联网公司都希望通过软件来摆脱硬件网络的束缚,而现在,距离这个颠覆创新变成现实,似 ...
最新文章
- 刻意练习:LeetCode实战 -- Task28.跳跃游戏
- ISME:高手开杠-‘1%的微生物可培养’到底为哪般?
- Visual Studio 压力测试注意点
- 七、Linux串口编程
- “面试不败计划”:集合、日期、异常、序列化、jvm、其他
- 0100-Same Tree(相同的树)
- 文献记录(part41)--Residual multi-task learning for facial landmark localization and expression ...
- 体验LESS CSS 框架
- Hibernate所用15个jar包
- 25linux运行级别26如何找到root密码?27linux下面帮助指令
- mybatis中prefix,suffix,prefixOverrides,suffixOverrides用法解释
- 用给出的Cramer规则解线性方程组
- 新萝卜家园 Ghost XP SP3 电脑城装机专用版 10.5
- 无线收发模块——NRF24L01
- SAP中通过删除新建未记账成本要素期间的方式更改成本要素类别
- Maxwell配置案例
- 聪明的猴子(BZOJ 2429)
- 超级跑车法拉利的历史
- android ellipsize 属性详解
- AP 1532E register Cisco 2504 AP注册WLC
热门文章
- 输出源文件的标题,目前执行行的行数,编译时间
- [windows网络编程]tcp/udp编程初步详解-转
- 1081. Rational Sum (20)-PAT甲级真题
- 1022. D进制的A+B (20)-PAT乙级真题
- 【汇编】JMP跳转指令的指令长度、直接转移与间接转移、段内跳转与段间跳转
- Nexus 安装与配置
- 多线程下单例模式:懒加载(延迟加载)和即时加载
- #define typedef 枚举类型
- 企业级 SpringCloud 教程 (五)路由网关(zuul)
- BZOJ2934 : [Poi1999]祭坛问题