推荐!神经进化才是深度学习未来的发展之路!
来源:全球人工智能
过去几年时间里,我们有一个完整的团队致力于人工智能研究和实验。该团队专注于开发新的进化计算方法(EC),包括设计人工神经网络架构、构建商业应用程序,以及使用由自然进化激发的方法来解决具有挑战性的计算问题。这一领域的发展势头非常强劲。我们相信进化计算很可能是人工智能技术的下一个重大课题。
EC与Deep Learning(DL)一样都是几十年前引入的,EC也能够从可用的计算和大数据中得到提升。然而,它解决了一个截然不同的需求:我们都知道DL侧重于建模我们已知的知识,而EC则专注于创建新的知识。从这个意义上讲,它是DL的下个步骤:DL能够在熟悉的类别中识别对象和语音,而EC使我们能够发现全新的对象和行为-最大化特定目标的对象和行为。因此,EC使许多新的应用成为可能:为机器人和虚拟代理设计更有效的行为,创造更有效和更廉价的卫生干预措施,促进农业机械化发展和生物过程。
前不久,我们发布了5篇论文来报告在这一领域上取得了显著的进展,报告主要集中在三个方面:(1)DL架构在三个标准机器学习基准测试中已达到了最新技术水平。(2)开发技术用于提高实际应用发展的性能和可靠性。(3)在非常困难的计算问题上证明了进化问题的解决。
本文将重点介绍里面的第一个领域,即用EC优化DL架构。
Sentient揭示了神经进化的突破性研究
深度学习的大部分取决于网络的规模和复杂性。随着神经进化,DL体系结构(即网络拓扑、模块和超参数)可以在人类能力之外进行优化。我们将在本文中介绍三个示例:Omni Draw、Celeb Match和Music Maker(语言建模)。在这三个例子中,Sentient使用神经进化成功地超越了最先进的DL基准。
音乐制作(语言建模)
在语言建模领域,系统被训练用来预测“语言库”中的下一个单词,例如《华尔街日报》几年内的大量文本集合,在网络做出预测结果后,这个输入还可以被循环输入,从而网络可以生成一个完整的单词序列。有趣的是,同样的技术同样适用于音乐序列,以下为一个演示。用户输入一些初始音符,然后系统根据该起始点即兴创作一首完整的旋律。通过神经元进化,Sentient优化了门控周期性(长期短期记忆或LSTM)节点(即网络的“记忆”结构)的设计,使模型在预测下一个音符时更加准确。
在语言建模领域(在一个叫Penn Tree Bank的语言语料库中预测下一个词),基准是由困惑点定义的,用来度量概率模型如何预测真实样本。当然,数字越低越好,因为我们希望模型在预测下一个单词时“困惑”越少越好。在这种情况下,感知器以10.8的困惑点击败了标准的LSTM结构。值得注意的是,在过去25年内,尽管人类设计了一些LSTM变体,LSTM的性能仍然没有得到改善。事实上,我们的神经进化实验表明,LSTM可以通过增加复杂性,即记忆细胞和更多的非线性、平行的途径来显著改善性能。
为什么这个突破很重要?语言是人类强大而复杂的智能构造。语言建模,即预测文本中的下一个单词,是衡量机器学习方法如何学习语言结构的基准。因此,它是构建自然语言处理系统的代理,包括语音和语言接口、机器翻译,甚至包括DNA序列和心率诊断等医学数据。而在语言建模基准测试中我们可以做得更好,可以使用相同的技术建立更好的语言处理系统。
Omni Draw
Omniglot是一种可以识别50种不同字母字符的手写字符识别基准,包括像西里尔语(书面俄语)、日语和希伯来语等真实语言,以及诸如Tengwar(《指环王》中的书面语言)等人工语音。
上图示例展示了多任务学习,模型可以同时学习所有语言,并利用不同语言中字符之间的关系。例如,用户输入图像,系统根据匹配输出不同语言的含义,“这将是拉丁语中的X,日语中的Y以及Tengwar中的Z等等”——利用日本、Tengwar和拉丁语之间的关系找出哪些角色是最好的匹配。这与单一任务学习环境不同,单一环境下模型只对一种语言进行训练,并且不能在语言数据集上建立相同的连接。
虽然Omniglot是一个数据集的例子,但每个语言的数据相对较少。例如它可能只有几个希腊字母,但很多都是日语。它能够利用语言之间关系的知识来寻找解决方案。为什么这个很重要?对于许多实际应用程序来说,标记数据的获取是非常昂贵或危险的(例如医疗应用程序、农业和机器人救援),因此可以利用与相似或相关数据集的关系自动设计模型,在某种程度上可以替代丢失的数据集并提高研究能力。这也是神经进化能力的一个很好的证明:语言之间可以有很多的联系方式,并且进化发现了将他们的学习结合在一起的最佳方式。
Celeb Match
Celeb Match的demo同样适用于多任务学习,但它使用的是大规模数据集。该demo是基于CelebA数据集,它由约20万张名人图像组成,每张图片的标签都由40个二进制标记属性,如“男性与女性”、“有无胡子”等等。每个属性都会产生一个“分类任务”,它会引导系统检测和识别每个属性。作为趣味附加组件,我们创建了一个demo来完成这项任务:用户可以为每个属性设置所需的程度,并且系统会根据进化的多任务学习网络来确定最接近的名人。例如,如果当前的图片为布拉德·皮特的形象,用户可以增加“灰色头发”属性,已发现哪个名人与他相似但是头发不同。
在CelebA多任务人脸分类领域,Sentient使用了演化计算来优化这些检测属性的网络,成功将总体三个模型的误差从8%降到了7.94%。
这一技术使得人工智能在预测人类、地点和物质世界各种属性的能力上提升了一大步。与基于抽象,学习功能找到相似性的训练网络不同,它使相似的语义和可解释性也成为可能。
原文:
https://www.sentient.ai/blog/evolution-is-the-new-deep-learning/?spm=a2c4e.11153959.blogcont554768.14.7c4f381flMPfCF
未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
推荐!神经进化才是深度学习未来的发展之路!相关推荐
- 深度学习未来十大趋势
深度学习未来十大趋势 [日期:2015-12-22] 来源: 作者:张巨岩 [字体:大 中 小] 本周,我在加拿大蒙特利尔参加了NIPS(Neural Information Processing S ...
- 预测:深度学习未来的6种可能
文章讲的是预测:深度学习未来的6种可能,即使你是掌握了人工智能和神经网络基础知识的数据科学家,你可能还需要更多的时间来了解卷积,了解通过组合低层特征形成更加抽象的高层表示属性类别或特征的深度学习算法的 ...
- 地平线机器人_地平线机器人CEO余凯:基于深度学习的自动驾驶之路
请关注公众号"汽车创新港",获取后续更多论坛实录! 加工作人员微信号:tinydanio,备注"我要入群"直接进入直播群! 今天都是大牛,下面的也是技术大牛,是 ...
- 从特征描述符到深度学习:计算机视觉发展20年
转自:http://cs2.swfc.edu.cn/~zyl/ 赵毅力的视觉研究博客 从特征描述符到深度学习:计算机视觉发展20年 Author: Tomasz Malisiewicz 翻译:赵毅力( ...
- 借鉴人类,跨越模态 | NLP和预训练模型未来的发展之路
[专栏:研究思路]近来,超大规模预训练模型快速发展,在自然语言处理领域引起热议.基于深度学习的自然语言 处理技术正沿着"极大数据.极大模型.极大算力"的轨道,"无所不用其 ...
- 深度学习未来发展的三种学习范式:混合学习,成分学习和简化学习
深度学习是一个很大的领域,其核心是一个神经网络的算法,神经网络的尺寸由数百万甚至数十亿个不断改变的参数决定.似乎每隔几天就有大量的新方法提出. 然而,一般来说,现在的深度学习算法可以分为三个基础的学习 ...
- 【深度学习】这才是深度学习的本源
内容来源:2019年7月26日,在长城会主办的"GMIC之院士AI论坛"上,索尔克生物研究所计算神经生物学实验室主任特伦斯进行了以"人工智能,将成科技的最大风口" ...
- 16625篇论文揭示25年来AI进化规律!深度学习时代行将结束!
来源:DeepTech深科技 本文约2500字,建议阅读5分钟. 本文为你解读了人工智能技术中的最新未来走向. 时至今日,几乎你所有听到的关于 AI 的重要进展,背后都离不开深度学习. 这类算法的工作 ...
- 深度学习未来的发展点
深度学习神经网络与人类的神经网络差多少(一) 这是我在学习Deep Learning留下的疑问与见解 献给那些即将学习深度学习的同学们,也献给哪些提供我知识的先知者们 本人也就是一枚普通的海归人员,学 ...
最新文章
- 今日最佳:导师给你指了一个研究方向后...
- Resnet对应于ImageNet的结构框架
- Java项目: 基于SSM实现教务管理系统
- Oracle-OLAP和OLTP解读
- 敲点JavaScript代码
- sqlserver日志文件在哪_用友SQL SERVER数据库置疑修复实例
- java中用swing实现绘画_【年度盘点】最受欢迎的5大Java练习项目
- LuckyFrame执行Web自动化用例
- oracle错误ORA-00604 递归sql级别1出现错误 ora-00942 表或试图不存在 ORA-06512 在line 11...
- Sublime Text 3 全程详细图文使用教程
- wifi连接一段时间才能上网_为什么wifi连接上却不能上网?教你如何解决wifi连上却不能上网...
- 我的网名--荡涤心灵
- <视觉SLAM十四讲> 李群与李代数
- PyQt5 QLabel改变字体和设置背景图片
- 智能运维 | 我们不一样!告诉你百度云如何做智能流量异常检测
- jsp的两种开发模式
- php斯芬克斯,斯芬克斯猫
- PWM波控制LED灯的亮暗
- 在 OneNote 2010中输入复杂的数学公式
- PHPMailer邮箱发送