用Transformer定义所有AI模型!特斯拉AI总监Karpathy发推感叹AI融合趋势
点击上方“AI遇见机器学习”,选择“星标”公众号
重磅干货,第一时间送达
来源 | CVer
特斯拉 AI 总监 Andrej Karpathy 连发多条推文表示,AI 不同领域(视觉、语音、自然语言等)正在打通,融合速度令人惊叹。
今日,特斯拉 AI 总监、Autopilot Vision 团队领导人 Andrej Karpathy 在推特上发文,对 AI 领域正在进行中的融合(consolidation)表示惊叹。
他表示,「10 年前,视觉、语音、自然语言、强化学习等都是完全分离的,甚至没有跨领域的论文。方法也完全不同,通常不是基于机器学习。」
从 2010 年开始,视觉、语言、自然语言、强化学习等领域的壁垒逐渐打破,它们开始转向同一个技术方向,即机器学习,特别是神经网络。它们使用的网络架构具有多样性,但至少论文开始读起来更加相似,基本上都用到了大型数据集和网络优化。
随着 AI 技术的发展,近两年,不同领域模型架构似乎也变得相同起来。很多研究者开始专注于 Transformer 架构,在此基础上做较小的改动以进行研究。
例如 2018 诞生的 GPT,1.17 亿参数;2019 年 GPT-2,15 亿参数;2020 年更是将其扩展到 1750 亿参数 GPT-3。Karpathy 基于 PyTorch,仅用 300 行左右的代码就写出了一个小型 GPT 训练库,并将其命名为 minGPT,这个 minGPT 能够进行加法运算和字符级的语言建模,而且准确率还不错。核心的 minGPT 库包含两个文档:mingpt/model.py 和 mingpt/trainer.py。前者包含实际的 Transformer 模型定义,大约 200 行代码,后者是一个与 GPT 无关的 PyTorch 样板文件,可用于训练该模型。
部分代码截图。
197 行完整代码:https://github.com/karpathy/minGPT/blob/master/mingpt/model.py
随着模型架构的融合,现在,我们可以向模型输入词序列、图像 patch 序列、语音序列、强化学习序列(状态、行为、奖励)。我们可以在条件设置中添加任意 token,这种模式是极其简单、灵活的建模框架。
即使是在某个领域(如视觉)内部,过去在分类、分割、检测和生成任务上存在一些差异。但是,所有这些也正在转换为相同的框架,例如 patch 的检测 take 序列和边界框的输出序列。
现在,区别性特征主要包括以下几个方面:
1)数据
2)将自身问题映射到向量序列以及从向量序列映射出自身问题的输入 / 输出规范
3)位置编码器的类型以及注意力 mask 中针对特定问题的结构化稀疏模式
所以,从技术上来说,AI 领域的方方面面,包括前景、论文、人才和想法突然之间变得极其相关。每个人基本上都在使用相同的模型,大多数改进和想法可以快速地在所有 AI 领域「复制粘贴」(copy paste)。
正如其他很多人注意到并指出的那样,新大脑皮质(neocortex)在其所有的输入模态中也有一个高度统一的架构。也许自然界偶然发现了一个非常相似的强大架构,并以类似的方式复制了它,并只在一些细节上做了改变。
这种架构上的融合将使我们专注于软硬件和基础设施建设,进一步加速 AI 领域的进展。「无论如何,这是激动人心的时刻。」
对于 Andrej Karpathy 描述的 AI 融合趋势,网友也纷纷发表意见。
推特网友 @Neural Net Nail 表示,「这是一个有价值的见解。融合将加速 AI 领域的创新步伐,在边缘端使用 AI 的尖端产品变得更加可行。我想,变化(variation)才是质量的最大敌人。」
网友 @sisil mehta 也认为,「ML 基础设施迎来了激动人心的时刻。随着模型架构的融合,建模框架和基础设施也将融合。我当然希望 PyTorch Lightning 也会这样。」
网友 @Marcos Pereira 表示,「一方面,处处都在用 transformers,我们已经遇到了障碍,需要创新;另一方面,处处都在用 transformers,所以跟上来吧。」
原文出自 @Andrej Karpathy 的推特:https://twitter.com/karpathy/status/1468370605229547522
欢迎关注我们,看通俗干货!
用Transformer定义所有AI模型!特斯拉AI总监Karpathy发推感叹AI融合趋势相关推荐
- 用Transformer定义所有ML模型,特斯拉AI总监Karpathy发推感叹AI融合趋势
来源:机器之心 本文约1700字,建议阅读5分钟 特斯拉 AI 总监 Andrej Karpathy 连发多条推文表示,AI 不同领域(视觉.语音.自然语言等)正在打通,融合速度令人惊叹. 近日,特斯 ...
- 你的AI模型有哪些安全问题,在这份AI攻防“词典”里都能查到
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处. 目前,AI技术在人脸支付.人脸安防.语音识别.机器翻译等众多场景得到了广 泛的使用,AI系统的安全性问题也引起了业界越来越 ...
- 你的AI模型有哪些安全问题,在这份AI攻防”词典”里都能查到
允中 发自 凹非寺 量子位 报道 | 公众号 QbitAI 目前,AI技术在人脸支付.人脸安防.语音识别.机器翻译等众多场景得到了广 泛的使用,AI系统的安全性问题也引起了业界越来越多的关注. 针对 ...
- 1 个 AI 模型 = 5 辆汽车终身碳排量,AI 为何如此耗能?
[CSDN 编者按]提及 AI,脑海里似乎总是正面的印象,各种技术的发展也越来越离不开 AI.但你是否知道, 训练 一个 AI 模型需要经历什么,它的能量消耗又有多少? 整理 | 弯月 责编 | 郑 ...
- 操纵神经元构造后门,腾讯朱雀实验室披露AI模型新型攻击手法
近日,在第19届XCon安全焦点信息安全技术峰会上,腾讯朱雀实验室首度公开亮相.这个颇有神秘色彩的安全实验室专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全. 会上,腾讯朱雀 ...
- 亚马逊:自动选择AI模型,进化论方法效率更高!
[新智元导读]亚马逊称,进化论可以帮助AI模型的选择.选择架构是构建AI模型的关键步骤.研究人员表示,鉴定遗传算法和协同进化算法的性能指标取决于彼此之间的相互作用,是寻找最佳(或接近最佳)AI模型架构 ...
- ai模型_这就是AI的样子:用于回答问题的BiDAF模型
ai模型 We at Zetane are all about democratizing AI, but getting to the laudable goal of empowering mor ...
- 使用FastDeploy在英特尔CPU和独立显卡上端到端高效部署AI模型
目录 1.1 产业实践中部署AI模型的痛点 1.1.1 部署模型的典型流程 1.1.2 端到端的AI性能 1.1.3 部署模型的难点和痛点 1.2 FastDeploy简介 1.3 英特尔独立显卡简 ...
- AI 模型社区“魔搭”亮相,平头哥又上新,端云一体生态再升级
11月 3 日,2022 年云栖大会正式拉开帷幕.云计算.数据智能.操作系统.城市大脑.自研芯片等前沿技术应用悉数亮出,为参会者奉上了一场技术盛宴. 今年有哪些黑科技?下面我们先睹为快. 新型计算体系 ...
最新文章
- 20210810 所有图像数据准备一条龙(labelme_json转mask、数据增强Augmentor、随机种子设比例生成train.val、转格式(.jpg转.png)、尺寸、位深度变换
- C++_STL——map、multimap、set、multiset
- 校省选赛第一场A题Cinema题解
- Nordic Collegiate Programming Contest (NCPC) 2016
- 微课|中学生可以这样学Python(例6.1):杨辉三角形
- strcpy(d,s)的溢出问题
- FlutterFragment 踩坑记
- 使用javascript生成的植物显示过程特效
- Cax 渲染的精致响应式饼图
- MATLAB实现简单的聊天软件
- 保护模式 80386
- flv怎么转换成mp4格式
- android 图片虚化代码,Android模糊图片技术
- 光照 (4) 漫反射光照
- 一个铁通员工的自白:我们的效率为何最低
- 蓝牙简介 | bluetooth
- JAVA AJAX教程第一章-初始AJAX
- Python命名空间和作用域窥探
- Milimeter-Wave UAV Communications(21-30)
- Linux文件或者文件夹的管理
热门文章
- Dialog、Toast、Snackbar,你真的了解它们吗?
- D3.js可视化库入门视频教程
- myecplise 添加svn插件
- JSP错误页面的处理和exception对象
- Syslog-ng+Rsyslog收集日志:logrotate日志切割、轮询(七)
- 23.使用load()方法异步请求数据
- 程序设计基本概念(2)-2.19
- 光棍节,猪我生日快乐!
- db2top详细使用方法_Py之PIL:Python的PIL库的简介、安装、使用方法详细攻略
- 图像处理基础知识及matlab,MATLAB图像处理基础知识