原标题:MIT警告深度学习正逼近算力极限,突破瓶颈会让人类成为上帝?

摩尔定律提出的时候,人们从来没有想到过芯片的算力会有到达极限的一天,至少从来没有想到芯片算力极限会这么快到来。

MIT发出警告:算力将探底,算法需改革

近日,MIT发出警告:深度学习正在接近现有芯片的算力极限,如果不变革算法,深度学习恐难再进步。

根据麻省理工学院研究人员的一项研究,深度学习的进展「非常依赖」算力的增长。他们断言,必须发明革命性的算法才能更有效地使用深度学习方法。

研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料,以理解深度学习性能和算力之间的联系,主要分析了图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域两方面的计算需求:

1、给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数。

2、训练整个模型的硬件负担,用处理器数量乘以计算速度和时间来估算。

研究结果表明,除从英语到德语的机器翻译(使用的计算能力几乎没有变化)外,所有基准均具有「统计学上显著」的斜率和「强大的解释能力」。

命名实体识别和机器翻译对于硬件的需求大幅增加,而结果的改善却相对较小。更有甚者,算力增长为ImageNet上的图像分类模型贡献了43%的准确率。

根据多项式和指数模型的预测,通过深度学习获得相应性能基准所需的算力(以Gflops为单位),碳排放量和经济成本,最乐观的估计,ImageNet分类误差要想达到1%,需要10^28 Gflops的算力,这对硬件来说是不小的压力。

网友评论:算力提升不一定要堆更多晶体管

这篇论文发表后,在reddit上引发了网友热议。算力还可能再提高吗,能不能搞出更贴合人脑的计算芯片?

网友@respecttox认为,现在的硬件算力提升有些误区,不一定非得在晶体管上堆更多的晶体管,我们需要更好的框架来支持底层条件计算以及相应的硬件改进。理想情况下,用消费级的GPU就能跑很多深度模型。

这样的GPU值得期待,动辄上万的N卡,对很多学生党来说的确是不小的障碍。

那人类大脑是一台超级计算机吗?这个问题此前有过很多讨论,网友@Red-Portal认为就功耗而言,大脑并不是超级计算机。在这方面,简单地认为更多的计算能力将为我们提供人类智能的想法就产生了误导,因为它并不是真正的「人工智能」。

就大脑中神经元的数量来说绝对可以称的上「超级」,至于它的能耗为啥这么低,低到跟现实中的计算机相比几乎可以忽略不计,谁又能拿出证据说,大脑不可能有一个更高效的计算机制?

神经科学家也参与进来了。他认为人脑和神经网络最大的两个差异可能是A:大脑区域之间和内部的反馈令人难以置信,B:神经元比人工神经网络中的节点有更多的非线性。非线性才是导致人脑如此优于「人工智能」的根本原因。

计算机不断在人脑中汲取经验,各种类脑芯片也如雨后春笋一般被制造出来。量子计算也取得了惊人的进步,霍尼韦尔宣称已经造出64量子体积的计算机。随着软件算法和硬件算力的协同进步,未来机器的算力甚至于智力会超过人类吗?

算力接近无限会出现什么情况,会让人类成为上帝吗?

虽然物理世界一直在阻碍我们走向无限的终点,但我们自有办法在精神世界去突破物理限制,畅想在无限的边界。

当亚马逊设备高级副总裁David Limp畅想亚马逊人工智能助手Alexa的未来时,他想象了一个与《星际迷航》不一样的世界:在未来,你可以在任何地方,问任何事情,一台环境计算机将在那里满足你的每一个需求。

「想象一下,在不远的未来,你可以拥有无限的计算能力和无限的存储空间让你可以抛开服务器的束缚,你会做什么呢?」

Leiden大学研究院Steven de Rooij认为,无限算力将大大打破物理学定律。

经典计算机可以模拟量子系统,但它的速度从根本上比量子计算机慢。

但如果拥有无限的计算能力,一台经典计算机可以在眨眼间模拟任何物理系统。是的,这将涉及到信息传播速度超过光速。

我们可以做的事情有:

用暴力瞬间解决任何优化问题,这将成为非常简单的程序。例如,一个程序员可以在一个下午轻松地写出象棋、围棋、拼字游戏的无敌对手。制造汽车发动机的最佳方法是什么?一架飞机?太阳能电池板?简单地尝试所有可能的设计,然后选择一个性能最好的设计!

我们就解决了停顿的问题:只要运行程序,如果程序没有立即停止,就永远不会停止了。

如果我们能解决停顿问题,那么很多不可计算的函数就会变得可计算。特别是,我们可以计算Kolmogorov复杂性。这又可以建立理论上理想的学习系统。我们就可以建立理想的推理引擎,可以在任何数据中找到任意模式,并泛化到未来。我相信用不了多久,成熟的超智能人工智能就会出现,并让人类被淘汰。

这是不是意味着《计算中的上帝》所描述的,在宇宙中那个操控一切的超级生命?

届时,《西部世界》《我。机器人》中的剧情,将变得像现在我们玩的刺客信条一样可以轻松实现,人类是否会成为「上帝」呢?

但这样一来,也会带来很多未知的问题。显而易见的问题之一就是现有的人类伦理道德将会受到极大的挑战。

Louisiana State大学博士William Donahue抛出了一个有趣的话题。

如果我们对身体的每一个细胞的细胞信号和功能进行高度详细的模拟,我们就会拥有终极的医学研究工具。我们可以模拟药物和其他治疗方法对人类的影响,而不需要任何动物。

如果我们有这样的模型,我说的不是一个简单的可视化,而是整个事情到每一个原子,我们开始一个神经元发射,那么我们是否会创造一个活人?在模拟环境中使用它们会是道德的吗?

亲爱的读者,你怎么看?

(声明:本文仅代表作者观点,不代表新浪网立场。)返回搜狐,查看更多

责任编辑:

计算机算力英语怎么说,MIT警告深度学习正逼近算力极限,突破瓶颈会让人类成为上帝?...相关推荐

  1. MIT警告深度学习正在逼近计算极限,网友:放缓不失为一件好事

    机器之心报道 参与:魔王.杜伟 MIT的一项研究认为,深度学习正在逼近算力极限. 深度学习需要大量数据和算力,这二者的发展是促进这一次人工智能浪潮的重要因素.但是,近期 MIT 的一项研究认为,深度学 ...

  2. MIT警示“深度学习过度依赖算力”,研究三年算法不如用10倍GPU

    2020-09-18 14:11 导语:深度学习会被算力锁死么?顶层设计仍有希望 作者 | 蒋宝尚.青暮 编辑 | 丛  末 目前深度学习的繁荣过度依赖算力的提升,在后摩尔定律时代可能遭遇发展瓶颈,在 ...

  3. 算法还是算力?一篇微博引爆深度学习的“鸡生蛋,蛋生鸡”问题

    来源:数盟 作者: 波波 上周,由强化学习加持的AlphaZero,把DeepMind在围棋上的突破成功泛化到其他棋类游戏:8小时打败李世石版AlphaGo,4小时击败国际象棋最强AI--Stockf ...

  4. MIT探索深度学习网络的基础理论

    点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...

  5. MIT最新深度学习入门公开课

    作为顶尖学府,MIT 自然有不少优秀的公开课.但是他们并没有停下开源的脚步.一月底,MIT 6.S191:深度学习导论课程已开始授课了.每周更新一次课程视频,还提供了 PPT 和 Lab Sessio ...

  6. 【课程】MIT最新深度学习课程集

    来自Lex Fridman的AI 课程 updata:20181219 这一课程中包含了深度学习,深度强化学习,自动驾驶以及人工智能通识课. 大牛云集的人工智能通识课: 可以在这里找到邮件列表登记: ...

  7. 对话百度贾磊/喻友平:深度学习正往跨领域融合高速发展

    2019-12-02 19:41:25 看点:贾磊说,目前深度学习的跨学科整合正在快速发展,不断对已有学科进行着颠覆. 智东西12月2日消息,上周,百度推出了一款新的语音识别模型--全名叫" ...

  8. 【pytorch】深度学习所需算力估算:flops及模型参数量

    目录 计算量的要求是在于芯片的floaps(指的是gpu的运算能力) 参数量对应显存大小选型 常见的英伟达显卡的FLOPS和显存规格 pytorch中的floaps与显存计算方法 计算量的要求是在于芯 ...

  9. MIT设计深度学习框架登Nature封面,预测非编码区DNA突变

    来源:ScienceAI 作者:Raleigh McElvery 编辑:小舟.张倩 来自 MIT 和哈佛大学博德研究所等机构的一项研究刚刚登上了 Nature 封面.他们创建了一个数学框架来预测基因组 ...

  10. 8196国开计算机专业英语,电大计算机网络(本)学习周期01任务A_0002答案

    一.单项选择题(共 20 道试题,共 60 分.) 1. 资源共享和( )是计算机网络最基本的两大功能. A. 数据通信 B. 病毒管理 C. 用户管理 D. 站点管理 2. 计算机网络系统是由( ) ...

最新文章

  1. 世界上本没有架构,建设的需求多了便有了架构
  2. 修改ubuntu崩溃转储的设置
  3. mysql web日志_mysql日志管理
  4. 167. Two Sum II - Input array is sorted
  5. Hadoop源代码分析(二)
  6. 【LeetCode笔记】64. 最小路径和(Java、动态规划)
  7. html设置在父元素底部对齐,如何将div对齐到父元素的底部
  8. UIWebView关于XMLHttpRequest的内存泄漏
  9. 文档流、脱离文档流分析
  10. php上js实现ajax请求,原生JS实现ajax与ajax的跨域请求实例
  11. java就业凉_【哔哩哔哩】秋招凉经 Java篇
  12. 距离向量算法与链路状态算法(RIP、OSPF)
  13. Asp.net页面传值
  14. C++编译器的函数名修饰规则
  15. 在线格式化mysql_SQL在线美化 | SQL格式化 | SQL压缩 —在线工具
  16. 撬动世界的支点——《引爆点》读书笔记2900字优秀范文
  17. Revit二次开发——轴网
  18. 逻辑学中的思维规律:同一律,不矛盾律,排中律,充足理由律
  19. 【Pyqt5】实现小学三年级口算题生成器
  20. 人工智能兴起的条件_跟我说规矩。 AI受虐狂的兴起

热门文章

  1. C语言malloc函数的使用!malloc函数的作用:动态内存分配函数,用来向系统请求分配内存空间
  2. TCP/UDP数据包最大传输MTU
  3. 计算机中用于表示储存,计算机中用来表示存储器容量的基本单位是
  4. dnf仓库打不开怎么办,dnf仓库打不开_DNF仓库锁。设置之后,点了强制解除。然后仓库打不......
  5. 灵雀云 CTO 陈恺:从“鸿沟理论”看云原生,哪些技术能够跨越鸿沟?
  6. 线性代数-MIT 18.06-汇总
  7. 塞班手机刷linux,向 诺基亚 塞班手机中 批量导入 通讯录(csplit iconv)
  8. 谷歌支付服务端服务账号订单校验
  9. CnPack开发包基础库
  10. junit单元测试步骤