微软Adam挑战Google Brain：我的机器学习比你快
FROM： http://www.36kr.com/p/213737.html
人工智能（AI）是近年来很火的一个领域，Google、Facebook、苹果、微软等巨头都在发力。而可以帮助进行语音识别、语言翻译及提供计算机视觉的深度学习则是最近的新宠。
尽管苹果有Siri，Facebook成立了人工智能实验室，但业界普遍的看法是 Google 是人工智能领域竞赛的领跑者。因为最近有深度学习的领军人物 Geoff Hinton 的加盟，因为它展示过自己会自主学习的深度学习系统，也因为它与 NASA联合成立的人工智能实验 室等吸引人眼球的东西。在计算机视觉和语音识别方面，Google 还保持着几个记录。
但现在微软的研究团队要向 Google 叫板，我的深度学习系统 Adam 要比你的 Google Brain 快。微软称，在 ImageNet 22K 标杆测试上，Adam 在识别图像方面的熟练程度是之前系统的两倍，使用的机器则要少得多，仅为其 1/30。ImageNet 22K 是用来测试深度学习系统计算机视觉（自动识别图像能力）能力的数据库，共有 150 万张图片，图片类型多达 22000 种，此前只有少数系统能处理这么多类型，其中就包括 Google Brain，Google 的 Android 语音识别和 Google Maps 等的 AI 计算都要靠 Google Brain。
那么 Adam 是怎么做到的呢？
Adam 并不是在算法上进行突破，而是优化了机器数据处理方式，同时调整了机器的通信方式。Adam 是微软研究员 Trishul Chilimbi（Bing 的基础设施是他弄的）想出来的产物，其训练方式不太算是人工智能的科学，而是大规模计算机系统的艺术。
与深度学习系统类似，Adam 也运行于一组标准服务器（由微软 Azure 提供）之上。深度学习更加接近于创造了神经网络的大脑的运作方式，而这些神经网络往往需要大规模的服务器去模拟。Adam 的独特之处在于使用了异步（asynchrony）技术。
我们知道，随着计算机系统越来越复杂，系统的各个组件之间的信息交换变得越来越困难，而异步可以缓解这一问题。所谓的异步，指的是将系统拆分为基本能独立运行的各个部分，然后再把计算结果合并起来。合并结果在智能手机和笔记本上是比较容易实现的，因为计算可以分布到许多计算机芯片上，但是跨许多不同计算机实现这一点就没有神经网络那么成功。此前许多研究机构和公司（包括 Google 在内）都是靠大型异步系统来实现这一点的，而现在微软利用了威斯康星大学研发的一种名为“HOGWILD!”的技术来实现异步系统。
HOGWILD! 当初的设计主旨是让机器内的每一个处理器工作更加独立。甚至可以允许不同的芯片同时向同一个内存地址写入，即操作相互覆盖也没问题。对于大多数系统来说，这种做法是很糟糕的，因为会引发数据冲突，但是在一些情况下这么做是没问题的。威斯康星大学已经证明，在小型计算系统里，数据冲突的几率是很低的。这样的话，单台机器的速度可以显著提升。Adam 则更进一步，把 HOGWILD! 的异步应用到整个计算机网络上。
神经网络非常稠密，所有的机器都要向主服务器发送更新，数据冲突风险很高。但是由于这种更新往往都是递增性的更新，所以发生冲突的结果往往是一致的。举个例子，机器 1 可能要给某个现值为 5 的变量加 1，机器 2 则要给这个变量加 3，这种情况下，系统不会控制两台机器的更新次序，因为最后结果是一样的，都是 9。
这样一来，微软的神经网络在理解图像之类的东西是就可以快了许多且更精确。百度的深度学习专家Andrew Ng对此的评价是：
很有侵略性的做法，不过我知道为什么这种做法能省很多计算，好想法，很有趣。
令 Ng 感到惊讶的是，Adam 运行于传统的计算机处理器而非 GPU（图形处理器）上，后者往往是偏数学型计算的首选。许多深度学习系统都转向 GPU 以避免通信瓶颈，但是 Adam 却走了不同的路线。
神经网络需要大规模的数据，这种量已经超出了单台机器 CPU 的能力范围，所以才需要跨机器。用 GPU 可以更快地处理数据。问题是如果单个 GPU 或有多 GPU 的单台服务器无法容纳下整个 AI 模型的话，系统就会停转。因为数据中心的通信系统速率赶不上 GPU 处理信息的速度会导致数据拥塞。因此有些专家称 GPU 不适合扩展到大型神经网络上。Chilimbi 也持同样的看法。
不过，由于微软并没有公布优化网络的细节，业界的专家对于 Adam 如何实现微软所声称的性能提升并不知晓。
目前该项目仍处于萌芽阶段。微软内部用户可以通过手机抓拍一个对象之后提交给 Adam 让它来识别。微软研究院负责人 Peter Lee 称，他已经用 Adam 识别出了一种狗和一种害虫，目前该 app 尚未有面向公众推出的计划，但显然这种技术在电子商务、机器人和情感分析等方面都有广泛用途。微软内部也在讨论用 FPGA（现场可编程逻辑门阵列）提高 Adam 性能的可能性。
http://v.youku.com/v_show/id_XNzQwNzQ3Nzc2.html?firsttime=123[消息来源：wired.com]
微软Adam挑战Google Brain：我的机器学习比你快相关推荐
- Google Brain 研究员梁辰：从零开始搜索机器学习算法（附视频、PPT）
导读:2020 年 5 月 16 日上午,在北京智源人工智能研究院主办的智源论坛第 31 期上,AutoML-Zero 团队核心成员梁辰做了题为<AutoML-Zero: Evolving Ma ...
- 前端也能玩转机器学习？Google Brain 工程师来支招
演讲嘉宾 | 俞玶 编辑 | 伍杏玲 来源 | CSDN(ID:CSDNnews) 导语:9 月 7 日,在CSDN主办的「AI ProCon 2019」上,Google Brain 工程师,Tens ...
- 前端也能玩转机器学习？Google Brain 工程师来支招！
演讲者 | 俞玶 整理 | 伍杏玲 出品 | CSDN(ID:CSDNnews) [CSDN 编者按]9 月 7 日,在CSDN主办的「AI ProCon 2019」上,Google Brain 工程 ...
- 热门 | Google Brain前员工深度盘点2017人工智能和深度学习各大动态
翻译 | AI科技大本营 参与 | shawn 编辑 | Donna 2017年是人工智能井喷的一年.Google Brain团队前成员Denny Britz在自己的博客WILDML上对过去一年人工智 ...
- Google Brain 团队的研究方法
来源:全球人工智能 概要:大约一年之前,Google Brain 团队首次分享了我们的使命:让机器拥有智慧,造福人类生活. 大约一年之前,Google Brain 团队首次分享了我们的使命:让机器拥有 ...
- 爆爆爆！！Deep Mind与Google Brain合并，成立 Google DeepMind 新部门
图|2010-2023,从 DeepMind 到 Google DeepMind,再到 DeepMind,再到 Google DeepMind 来源: 学术头条 微信号:SciTouTiao 或许是 ...
- 重磅！谷歌宣布 DeepMind 与 Google Brain 合并，奋力追赶 OpenAI
整理 | 郑丽媛 出品 | CSDN(ID:CSDNnews) 谈及互联网搜索行业的"老大",多年来谷歌一直是毫无疑问的答案,其遥遥领先的市场份额占据着绝对地位: 但自从微软和 O ...
- 对话尼基·帕玛：在Google Brain工作是一种怎样的体验？
全文共2391字,预计学习时长8分钟 图源:pixabay 作为Google重要科研学术小组,Google Brain团队在计算机科学.量子计算.人工智能等领域取得了不少成果.在Google Brai ...
- TensorFlow可以做什么？让Google Brain首席工程师告诉你
编辑 | 明明 1月19日,在极客公园创新者大会IF2018的现场,Google Brain首席工程师陈智峰发表题为:<找答案从定义问题开始 --TensorFlow 可以用来做什么?>的 ...
最新文章
- http header头设置反向代理不缓存
- 搜索训练1 [8数码问题]
- LeetCode 二叉树、N叉树的最大深度与最小深度(递归解)
- linux基础应用和常用技巧
- java mybatis 返回map_mybatis返回map集合的格式是什么？mybatis返回map集合实例
- Struts 2 入门
- linux ubutu书籍,Ubuntu Linux入门到精通[图书]
- mysql 更新删除数据,MYSQL数据的插入、删除、更新
- C++经典程序代码大全
- Internet Explorer 无法打开该 Internet 站点。请求的站点不可用
- 微信上一定有重做贴吧的机会！
- 交易猫跳转APP+后台管理
- 超详细的 Wireshark 使用教程
- linux arm 无法执行二进制文件,qemu-arm无法运行arm编译的二进制文件
- 习题 4.6 有一个函数：。。。 写程序，输入x的值，输出y相应的值。
- php apache win7,win7配置Apache24和PHP7.2.4开发环境
- ebs 供应商地点信息_EBS R12使用接口表往已存在的供应商地址下创建新的地点
- 数据结构之（二叉）堆
- Python 网络爬虫实战：猫眼电影 38950 条评论数据告诉你《无名之辈》是否值得一看？
- cocos creator接入微信登陆sdk ios篇