麻省理工人工智能实验室发现更小更容易训练的神经网络

https://www.toutiao.com/a6688201699858842119/

2019-05-07 16:38:26

神经网络技术起源于上世纪五、六十年代，当时叫感知机，拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。

尽管人工智能取得了很大的进步，但现在大多数基于人工智能的产品仍然依赖于“深度神经网络”。这种网络通常非常大，而且训练成本高得令人望而却步。

麻省理工学院的研究人员希望改变这一现状。在今天发表的一篇论文中，研究人员揭示了神经网络中包含的“子网络”，比之前的网络小10倍，而且可以更便宜、更快地进行训练。

为了训练大多数神经网络，工程师给它们提供大量的数据集，但这可能需要几天的时间和昂贵的GPUs。

来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员发现，在这些训练有素的网络中，有更小的子网络，可以做出同样准确的预测。

CSAIL所谓的“彩票假说”就是基于这样一种观点，即训练大多数神经网络就像买所有的彩票，以确保中奖。相比之下，训练子网就像只买有奖的那张彩票一样。

问题在于，研究人员还没有想出如何在不构建完整神经网络的情况下找到这些子网，然后修剪掉不必要的位。研究人员目前还没有找到这些子网络的方法。

如果他们能找到一种方法跳过这一步，直接进入子网络，那么这一过程可以节省数小时的工作。并使训练神经网络不仅仅对大公司开发而且对单个程序员开放。

但是，如何有效地找到子网络，并明确为什么有些子网在训练上比其他子网表现地更好，可能会让研究人员忙上几年。

麻省理工人工智能实验室发现更小更容易训练的神经网络相关推荐

麻省理工人工智能实验室新研究！有远见的机器学习方法：能预知未来行为的AI智能体
原创/文 BFT机器人近日,麻省理工学院的研究人员开发出一种新技术,让AI智能体能够思考更远的未来,寻找更合适的合作与竞争长期解决方案. 想象一个游戏规则:两支足球队在球场上PK,玩家们可以选择相互 ...
MIT Artificial Intelligence —— Patrick H. Winston 麻省理工人工智能公开课学习笔记（一）
本系列文章是博主对网易公开课中麻省理工人工智能课程的学习笔记,在此方便学习和分享. Lecture 1: Introduction and Scope 本节课程大概从这三方面讲述: 一.什 ...
Google 开源的依赖注入库，比 Spring 更小更快！
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料来源:GinoBeFunny zhuanlan.zhihu.com ...
苹果公司提出Mobile-ViT | 更小更轻精度更高，MobileNets或成为历史
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨ChaucerG 来源丨集智书童 MobileviT是一个用于移动设备的轻量级通用可视化Tran ...
海尔微型计算机云悦mini2a,更小更轻新主机云悦mini2A参数曝光
大哥大流行的年代,没人能想到手机能发展到多小,世界上第一台30吨重的计算机诞生时,也没人能想到主机能发展到只有一瓶矿泉水的重量.海尔电脑旗下的云悦mini可谓主机进化史上的缩影,0.6L体积,0.45 ...
hp510台式计算机,体积更小更时尚惠普Pavilion 510台式机简评
体积更小更时尚惠普Pavilion 510台式机简评 2016年07月13日 01:00作者:王普编辑:王普文章出处:泡泡网原创分享随着DIY市场的萎靡,PC行业早已没有当年那番景气,但是大家对 ...
EfficientNet v2网络学习记录--更小更快
论文地址:2021 CVPR --Google <EfficientNetV2: Smaller Models and Faster Training> 亮点: 使用训练感知神经结构搜索和 ...
尺寸直降28%！斯坦德推出更小更灵活的AMR物流机器人
经由客户项目现场测试打磨,结合3C制造场景下产线空间受限等挑战,斯坦德推出了新型号AMR物流机器人--Oasis300C.该型号AMR延续了同系列产品功能设定,同时凭借更小的体型在更多极限场景与运动控 ...
蜂鸟视图JS SDK v3.0：五大亮点，打造更小更快的可视化地图应用
近期,蜂鸟视图发布了FengMap JavaScript SDK v3.0版本,该版本在不减少任何功能的情况下,对原有的渲染内核进行了优化,使得数据加载性能提升了30%,渲染性能提升了25%,包体大小 ...

麻省理工人工智能实验室发现更小更容易训练的神经网络

麻省理工人工智能实验室发现更小更容易训练的神经网络相关推荐

最新文章

热门文章