新智元报道来源：AIM

【导读】每周都有大量人工智能（AI）和机器学习（ML）的新研究工作、工具、数据集、模型、库和框架被发布。而这背后的AI实验室其实都在悄咪咪地推广自己的「流派」。

深度学习研究就像武林大会？

没想到，这些看起来啥都搞的科技公司和AI实验室其实，都有一个自己深耕的「流派」。

DeepMind

作为Alphabet的子公司，DeepMind可以说是强化学习的代名词。

从AlphaGo到MuZero以及最近的AlphaFold 2，DeepMind一直在寻求强化学习方面的突破。

AlphaGo是一个打败专业人类围棋选手的计算机程序。它结合了先进的搜索树和深度神经网络。

MuZero除了在围棋、国际象棋和象棋上达到了AlphaZero的水平之外，同时还掌握了一系列视觉上非常复杂的Atari游戏。

而MuZero在训练的时候没有任何外部的经验，只知道游戏的规则。

https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules

这些神经网络将围棋棋盘的描述作为输入，并通过不同的层进行处理，这其中则包含了数百万个神经元般的连接。

模型通过一个「策略网络」选择下一步棋，并通过另一个「价值网络」预测游戏的赢家。

此外，DeepMind还推出了一个能够预测蛋白质结构的系统：AlphaFold。

2018年，AlphaFold在国际蛋白质结构预测竞赛（CASP）上首次亮相，在98只参赛队伍中排名第一！

而第二代AlphaFold的突破在于，预测所有原子的3D结构，更快更准确地预测出蛋白质结构。

目前，DeepMind团队将AlphaFold应用到20296种蛋白质，占人类蛋白质组的 98.5%。

AlphaFold几乎是预测了人类蛋白质组里以单个蛋白为单位的空间三维结构，而且结果相当精确！这本身就是结构生物学上的一大突破。

OpenAI

GPT-3是全球谈论最多的Transformer模型之一。

对于即将推出的语言模型GPT-4，虽然规模不会比GPT-3更大，但是会更加侧重代码的生成能力。

最近，OpenAI推出了OpenAI Codex，一个将自然语言翻译成代码的AI系统。

它是GPT-3的衍生版本，其训练数据既包含自然语言，也包含数十亿行公开来源的源代码，包括公共GitHub存储库的代码。

目前，GPT-3的竞争对手还包括EleutherAI GPT-j、BAAI的Wu Dao 2.0和谷歌的Switch Transformer等。

总而言之，OpenAI希望通过一系列Transformer模型实现AGI。

Facebook

Facebook通过基础的、开放的科学研究，让跨领域的自监督学习技术改善其产品中的图像、文本、音频和视频理解系统。

基于自监督学习的预训练语言模型XLM-R，利用RoBERTa架构改善了Instagram和Facebook上的多语仇恨言论分类器。

Facebook认为，自监督学习是通往人类水平智能的正确道路。并通过公开分享其最新工作并在顶级会议上发表文章以及同时组织研讨会等，来加速这一领域的研究。

最近的一些工作包括VICReg、无文本NLP、DINO等。

Google

谷歌是自动机器学习（AutoML）的先驱者之一。

它正在高度多样化的领域中推进AutoML，如时间序列分析和计算机视觉。

今年，谷歌大脑的研究人员推出了一种新的基于符号编程的AutoML方法：PyGlove。其应用于Python的通用符号编程库，从而实现AutoML的符号表述。

谷歌在该领域的一些最新产品包括Vertex AI、AutoML视频智能、AutoML自然语言、AutoML翻译和AutoML表格。

Apple

为何iPhone上的Siri在听到我们自己说「Hey Siri」时会有反应，但是对其他人说的都没有反应？

按理来说，训练一个这种模型，会收集我们的声音数据，并且这些数据都会保存在iPhone上。

但其实不然，苹果采用了一种分布式机器学习形式：联邦学习（Federated Learning。

联邦学习可以有效解决数据孤岛问题，在不公布用户数据的前提下，可以将用户的多个数据集中起来汇集成一个统一的模型。

这样既确保边缘的机器学习模型的顺利训练，同时维护用户数据的隐私和安全。

联邦学习是由谷歌研究人员在2016年的论文「Communication Efficient Learning of Deep Networks for Decentralized Data」中首次提出的，现已被业界的各种参与者广泛采用。

https://arxiv.org/pdf/1602.05629.pdf

2019年，苹果与斯坦福大学合作，发表了一篇名为「保护重构及其在私有联合学习中的应用」的研究论文，展示了以前不可能实现的大规模本地私有模型训练的实用方法。

https://arxiv.org/pdf/1812.00984.pdf

该研究还涉及到理论和经验上的方法，以适应大规模的图像分类和语言模型，效用几乎没有下降。

目前，苹果也在研究各种创新方法，通过利用联邦学习和分布式替代技术，开发注重用户隐私的产品和应用程序。

Microsoft

微软研究院是全球顶尖人工智能实验室之一，在计算机视觉和语音分析方面开创了机器教学研究和技术的先河。

随着AI应用的场景越来越丰富，加上数据量小、任务复杂等种种实践中可能出现的挑战，有时机器学习的结果并不理想，而且效率低下。

为此，机器教学（Machine Teaching）便诞生了，人类可以利用自己的专业知识和经验帮助AI进行更有针对性的学习，帮助强化学习算法更快地找到解决方案。

https://www.msra.cn/zh-cn/news/features/machine-teaching

此外，在智能方面，微软涵盖了人工智能、计算机视觉、搜索和信息检索等研究领域。系统方面，则提供量子计算、数据平台和分析、安全、隐私和密码学等方面的资源。

Amazon

由于迁移学习方法在Alexa上的表现十分出色，亚马逊目前已经成为领先研究中心之一。

无论是在不同的语言模型、技术，还是更好的机器翻译中，亚马逊都推动了迁移学习领域的研究。

今年1月，亚马逊的研究人员提出了ProtoDA，一种高效的用于几率意图分类的迁移学习方法。

IBM

尽管IBM在机器学习方面开创了先河，但却失去了其在科技公司中的领先地位。

在1950年，IBM的Arthur Samuel开发了一个用于下棋的计算机程序（深蓝），一个专门分析国际象棋的超级电脑。

1996年2月10日，深蓝首次挑战国际象棋世界冠军卡斯巴罗夫，但以2-4落败。其后研究小组把深蓝加以改良——它有一个昵称叫「更深的蓝」（depper blue）。并在1997年再度挑战卡斯巴罗夫，最终以3.5—2.5击败对手.

到了2020年，IBM则开始推动它在量子机器学习方面的研究。

目前，IBM正在开拓专业硬件并建立电路库，使研究人员、开发人员和企业能够在没有量子计算知识的前提下，通过量子云服务来编码语言。

2023年，IBM期望能提供整套跨域预构建运行，可从基于云的API调用，并用通用的开发框架。

IBM坚信已经同量子内核和算法开发者打下了基础，并将帮助企业开发者独立探索量子计算模型，而无需考虑量子物理。

换句话说，开发人员能自由地在任何云原生混合运行中建构系统、语言和编程框架，或将量子组件集成到任何业务中。

参考资料：

https://analyticsindiamag.com/big-tech-their-favourite-deep-learning-techniques/

深度学习也有武林大会！八大科技巨头：我的“流派”才能实现AGI相关推荐

深度学习——你需要了解的八大开源框架
深度学习--你需要了解的八大开源框架 2016-08-05 19:18 Blake 0条评论深度学习八大开源框架导读:深度学习(Deep Learning)是机器学习中一种基于对数据进行表征学习的 ...
训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？——我自己是因为data有nan的坏数据，clear下解决...
from:https://www.zhihu.com/question/49346370 Harick 梯度爆炸了吧. 我的解决办法一般以下几条: 1.数据归一化(减均值,除方差,或者加入normal ...
深度学习鼻祖杰夫·辛顿及巨头们的人才抢夺战
摘要:深度学习已经诞生了数十年时间,但直到近几年才受到各大科技公司的重视,被认为是硅谷科技企业的未来,今天为大家介绍的是深度学习的开山鼻祖Geoffrey Hinton. 在过去的三十年,深度学习运动 ...
训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？（转）
转自: https://www.cnblogs.com/bonelee/p/8603750.html from:https://www.zhihu.com/question/49346370 H ...
网络nan的原因_训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？
在训练深度神经网络的时候,出现NaN比较大的可能是因为学习速率过大,梯度值过大,产生梯度爆炸. During experimentation, once the gradient value grow ...
【深度学习】一文看尽深度学习各领域最新突破
来源:<产业智能官> 想要了解深度学习各领域的最新进展? 看个视频就足矣. 该课程的PPT资料,下载地址如下: https://www.dropbox.com/s/v3rq3895r05x ...
互联网世界的“人工智能”——探秘“深度学习”的前世今生
转载自:http://blog.sina.com.cn/s/blog_990865340101gl2g.html 编者按:本文来自"流浪汉"投稿(@ZhangLumin),一个在硅 ...
【深度观察】深度学习技术其实没那么美好
智造观点深度学习是人工智能领域中最热门的机器学习方法之一,其目的在于建立.模拟人脑进行分析学习的神经网络,然后通过模仿人脑的机制来解释数据,比如图像.声音和文本等.至于其优势,可以说,深度学习在大数 ...
微软CTO韦青：深度学习不仅是知识，而是思维范式的转变
https://www.toutiao.com/a6651052971834475011/ 1956年,达特茅斯人工智能夏季研究计划首次提出"人工智能"一词,标志着这一学科的正式诞 ...

深度学习也有武林大会！八大科技巨头：我的“流派”才能实现AGI