HuggingGPT火了:一个ChatGPT控制所有AI模型,自动帮人完成AI任务,网友:留口饭吃吧...
丰色 发自 凹非寺
量子位 | 公众号 QbitAI
最强组合:HuggingFace+ChatGPT ——
HuggingGPT,它来了!
只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。
它就能帮你自动分析需要哪些AI模型,然后直接去调用HuggingFace上的相应模型,来帮你执行并完成。
整个过程,你要做的就只是用自然语言将你的需求输出。
这项由浙大与微软亚研院的合作成果,一经发布就迅速爆火。
英伟达AI研究科学家Jim Fan直呼:
这是我本周读到的最有意思的论文。它的思想非常接近“Everything App”(万物皆App,被AI直接读取信息)。
而一位网友则“直拍大腿”:
这不就是ChatGPT“调包侠”吗?
AI进化速度一日千里,给我们留口饭吃吧……
所以,具体怎么回事儿?
HuggingGPT:你的AI模型“调包侠”
其实,若说这个组合物只是“调包侠”,那格局小了。
它的真正用义,是AGI。
如作者所言,迈向AGI的关键一步是能够解决具有不同领域和模式的复杂AI任务。
我们目前的成果离此还有距离——大量模型只能出色地完成某一特定任务。
然而大语言模型LLM在语言理解、生成、交互和推理方面的表现,让作者想到:
可以将它们作为中间控制器,来管理现有的所有AI模型,通过“调动和组合每个人的力量”,来解决复杂的AI任务。
在这个系统中,语言是通用的接口。
于是,HuggingGPT就诞生了。
它的工程流程分为四步:
首先,任务规划。ChatGPT将用户的需求解析为任务列表,并确定任务之间的执行顺序和资源依赖关系。
其次,模型选择。ChatGPT根据HuggingFace上托管的各专家模型的描述,为任务分配合适的模型。
接着,任务执行。混合端点(包括本地推理和HuggingFace推理)上被选定的专家模型根据任务顺序和依赖关系执行分配的任务,并将执行信息和结果给到ChatGPT。
最后,输出结果。由ChatGPT总结各模型的执行过程日志和推理结果,给出最终的输出。
如下图所示。
假定我们给出这样一个请求:
请生成一个女孩正在看书的图片,她的姿势与example.jpg中的男孩相同。然后请用你的声音描述新图片。
可以看到HuggingGPT是如何将它拆解为6个子任务,并分别选定模型执行得到最终结果的。
具体效果怎么样?
作者采用gpt-3.5-turbo和text-davinci-003这俩可以通过OpenAI API公开访问的变体,进行了实测。
如下图所示:
在任务之间存在资源依赖关系的情况下,HuggingGPT可以根据用户的抽象请求正确解析出具体任务,完成图片转换。
在音频和视频任务中,它也展现了组织模型之间合作的能力,通过分别并行和串行执行两个模型的方式,完了一段“宇航员在太空行走”的视频和配音作品。
此外,它还可以集成多个用户的输入资源执行简单的推理,比如在以下三张图片中,数出其中有多少匹斑马。
一句话总结:HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。
项目已开源,名叫「贾维斯」
目前,HuggingGPT的论文已经发布,项目则正在建设中,代码只开源了一部分,已揽获1.4k标星。
我们注意到,它的项目名称很有意思,不叫本名HuggingGPT,而是钢铁侠里的AI管家贾维斯(JARVIS)。
有人发现它和3月份刚发布的Visual ChatGPT的思想非常像:后者HuggingGPT,主要是可调用的模型范围扩展到了更多,包括数量和类型。
不错,其实它们都有一个共同作者:微软亚研院。
具体而言,Visual ChatGPT的一作是MSRA高级研究员吴晨飞,通讯作者为MSRA首席研究员段楠。
HuggingGPT则包括两位共同一作:
Shen Yongliang,TA来自浙江大学,在MSRA实习期间完成此项工作;
Song Kaitao,MSRA研究员。
其通讯作者为浙大计算机系教授庄越挺。
最后,对于这个强大新工具的诞生,网友们很是兴奋,有人表示:
ChatGPT已成为人类创建的所有AI的总指挥官了。
也有人据此认为:
AGI可能不是一个LLM,而是由一个“中间人”LLM连接的多个相互关联的模型。
那么,我们是否已经开启“半AGI”的时代了?
论文地址:
https://arxiv.org/abs/2303.17580
项目链接:
https://github.com/microsoft/JARVIS
参考链接:
https://twitter.com/DrJimFan/status/1642563455298473986
HuggingGPT火了:一个ChatGPT控制所有AI模型,自动帮人完成AI任务,网友:留口饭吃吧...相关推荐
- HuggingGPT:一个ChatGPT控制所有AI模型,自动帮人完成AI任务
最强组合:HuggingFace+ChatGPT --HuggingGPT,它来了! 只要给定一个AI任务,例如"下面这张图片里有什么动物,每种有几只". 它就能帮你自动分析需要哪 ...
- 为要混一口饭吃(乱改徐志摩为要寻一个明星)
为要混一口饭吃 我打开慢腾腾的电脑, 向着黑夜里加班:-- 向着黑夜里加班, 我敲击着失灵的键盘! 我冲入这黑黢黢的大厦, 为要混一口饭吃:-- 为要混一口饭吃, 我冲入这黑黢黢的大厦. 浪费了,浪费 ...
- “万物就只是5万亿个参数”,AI模型GPT-3让人怀疑人生
本文转自开源中国 这几天轰动硅谷的 GPT-3 是什么来头? 相信不太了解 AI 的朋友这几天也或多或少看到了一些关于 GPT-3 的重磅消息,甚至有媒体称其为 "继比特币之后又一个轰动全球 ...
- 华为云发布国内首个 AI 模型市场,加速企业 AI 应用落地
华为云在 3 月 21 日的 2019 华为中国生态伙伴大会上,正式发布华为云 AI 市场:同时宣布投入专项激励,在 AI 市场上帮助开发者.合作伙伴加速企业的 AI 应用落地. 华为云 AI 市场是 ...
- 程序员会被AI取代?程序员在AI时代如何华丽变身?
1.AI危机 "AI来了,大家快跑" 恐怕这是AI时代,各行各业所能听到的职业版"狼来了".那么AI时代的到来,真的会赶走一批人吗?被赶走的都是哪些人?程序员会 ...
- 太火了!ChatGPT原人马成立的公司,被谷歌急投4亿美元!现在改行学AI还来得及不?...
机器之心报道 机器之心编辑部 自研要上,收购也要上,不容有失. 神仙打架,科技巨头之间的 AI 竞赛,正在不断升温. 在微软与 ChatGPT 创建者 OpenAI 绑定在一起之后,谷歌选择转向一家由 ...
- 如何只用一个小时定制一个行业AI 模型?
本文分享自华为云社区<如何只用一个小时定制一个行业AI 模型>,原文作者:HWCloudAI . 去年,在华为开发者大会2020(Cloud)期间, 华为云发布了ModelArts Pro ...
- 云从科技从容大模型:大模型和AI平台什么关系?为什么造行业大模型?
原创:亲爱的数据 2023年5月18日,坐标广州南沙,来自云从科技的"云从从容大模型"正式亮相. 自此,云从科技从CV四小龙"进阶"成为一家AI大模型公司,同时 ...
- 操纵神经元构造后门,腾讯朱雀实验室披露AI模型新型攻击手法
近日,在第19届XCon安全焦点信息安全技术峰会上,腾讯朱雀实验室首度公开亮相.这个颇有神秘色彩的安全实验室专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全. 会上,腾讯朱雀 ...
最新文章
- spss数据预处理步骤_数学建模准备必备的十个数据分析软件(数学建模从入门到精通)...
- JDK 1.5 环境变量的配置
- “雪崩”崩了 欧洲国际刑警组织捣毁大规模恶意软件管理平台
- mysql5.7用户管理
- mysql 锁定表_MySQL表锁定
- MFC----ListBox用法
- console查看对象结构
- 第二章 传送与交换作业
- plusgantt的项目管理系统实战开发最全课程
- Flask-APScheduler使用教程
- 《数学分析》收敛数列的性质
- 计算机485通讯原理,软件实现 - 基于Modbus协议的RS485总线通讯机设计原理及应用...
- Android 手机 超级终端命令解析
- 机顶盒及编解码器的音视频质量评价测试
- 计算机休眠 mac,Mac如何开启休眠模式
- [BZOJ 3653] 谈笑风生
- 大学生PHP个人博客网站源码 简单个人动态网站设计模板 PHP毕业设计成品 学生PHP MYSQL日志管理系统网页
- 二进制十进制十六进制转换_二进制数制到十进制数制的转换
- 河北单招计算机英语,2019年河北高职单招考试十类 和对口电子电工类、计算机类联考 专业基础考试(英语)考试大纲.doc...
- Android HorizontalScrollView和ScrollView 水平滚动 垂直滚动
热门文章
- qt android opengl,案例:实现Qt和OpenGL混合渲染 | 求索阁
- iOS App版本更新
- 【毕业设计】履带四足复合机器人
- 微信公众号编辑底部自定义菜单解决方案
- spring boot课程评价系统毕业设计源码211004
- linux wirte
- Arduino基础篇(十)-- 电源模块设计集合
- 2021年材料员-通用基础(材料员)考试报名及材料员-通用基础(材料员)试题及解析
- reference MySQL数据库_MySQL数据库基础
- Xiaojie雷达之路---使用CCS创建一个毫米波雷达的工程(AWR1843)