炫到爆炸！HuggingGPT在线演示惊艳亮相
Datawhale干货
编辑：桃子，来源：新智元
【导读】浙大&微软推出的HuggingGPT爆火之后，刚刚开放了demo，急不可待的网友自己上手体验了一番。
最强组合HuggingFace+ChatGPT=「贾维斯」现在开放demo了。
前段时间，浙大&微软发布了一个大模型协作系统HuggingGPT直接爆火。
研究者提出了用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，完成多模态复杂任务。
整个过程，只需要做的是：用自然语言将你的需求输出。
英伟达科学家称，这是我本周读到的最有意思的论文。它的思想非常接近我之前说的「Everything App」，即万物皆App，被AI直接读取信息。
上手体验
现在，HuggingGPT增加了Gradio演示。
项目地址：https://github.com/microsoft/JARVIS
有网友便上手体验了一番，先来「识别图上有几个人」？
HuggingGPT根据推理结果，得出图片中有2个人正在街道上行走。
具体过程如下：
首先使用图像到文本模型nlpconnect/vit-gpt2-image-captioning进行图像描述，生成的文本「2个女人在有火车的街道上行走」。
接着，使用了目标检测模型facebook/detrresnet 50来检测图片中的人数。模型检测出7个物体，2个人。
再使用视觉问题回答模型dandelin/vilt-b32-finetuned-vqa得出结果。最后，系统提供了详细的响应和用于解答问题的模型信息。
另外，让它理解「我爱你」这句话的情感，并将其翻译成泰米尔语（Tamiḻ）。
HuggingGPT调用了以下模型：
首先，使用了模型「dslim/bert-base-NER」对文本「l love you」进行情感分类，是「浪漫」。
然后，使用「ChatGPT」将文本翻译成泰米尔语，即「Nan unnai kadalikiren」。
在推理结果中没有生成的图片、音频或视频文件。
转录MP3文件时，HuggingGPT却失败了。网友表示，「不确定这是否是我的输入文件的问题。」
再来看看图像生成的能力。
输入「一只猫跳舞」图像上添加文字「I LOVE YOU」作为叠加层。
HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根据给定的文本生成「跳舞的猫」的图片。
然后，使用同一个模型根据给定的文本生成了「I LOVE YOU」的图片。
最后，将2个图片合并在一起，输出如下图：
贾维斯照进现实
项目公开没几天，贾维斯已经在GitHub上收获了12.5k星，以及811个fork。
研究者指出解决大型语言模型（LLMs）当前的问题，可能是迈向AGI的第一步，也是关键的一步。
因为当前大型语言模型的技术仍然存在着一些缺陷，因此在构建 AGI 系统的道路上面临着一些紧迫的挑战。
为了处理复杂的人工智能任务，LLMs应该能够与外部模型协调，以利用它们的能力。
因此，关键点在于如何选择合适的中间件来桥接LLMs和AI模型。
在这篇研究论文中，研究者提出在HuggingGPT中语言是通用的接口。其工作流程主要分为四步：
论文地址：https://arxiv.org/pdf/2303.17580.pdf
首先是任务规划，ChatGPT解析用户请求，将其分解为多个任务，并根据其知识规划任务顺序和依赖关系。
接着，进行模型选择。LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型。
然后执行任务。专家模型在推理端点上执行分配的任务，并将执行信息和推理结果记录到LLM中。
最后是响应生成。LLM总结执行过程日志和推理结果，并将摘要返回给用户。
假如给出这样一个请求：
请生成一个女孩正在看书的图片，她的姿势与example.jpg中的男孩相同。然后请用你的声音描述新图片。
可以看到HuggingGPT是如何将它拆解为6个子任务，并分别选定模型执行得到最终结果的。
通过将AI模型描述纳入提示中，ChatGPT可以被视为管理人工智能模型的大脑。因此，这一方法可以让ChatGPT能够调用外部模型，来解决实际任务。
简单来讲，HuggingGPT是一个协作系统，并非是大模型。
它的作用就是连接ChatGPT和HuggingFace，进而处理不同模态的输入，并解决众多复杂的人工智能任务。
所以，HuggingFace社区中的每个AI模型，在HuggingGPT库中都有相应的模型描述，并将其融合到提示中以建立与ChatGPT的连接。
随后，HuggingGPT将ChatGPT作为大脑来确定问题的答案。
到目前为止，HuggingGPT已经围绕ChatGPT在HuggingFace上集成了数百个模型，涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等24个任务。
实验结果证明，HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。
网友热评
有网友称，HuggingGPT类似于微软此前提出的Visual ChatGPT，似乎他们把最初的想法扩展到了一组庞大的预训练模型上。
留言
刘丽 内江观察 刘煜瑞 四川在线记者 郑志浩 "这个机器人全称是防爆消防灭火侦察机器人,它可以代替消防指战员进入易燃易爆.有毒.缺氧.浓烟等危险灾害事故现场,实施有效的灭火救援.化学检测和火 ... 来源:学术头条 2021 年 6 月 1 日,由北京智源人工智能研究院(以下简称 "智源")主办的 2021 北京智源大会在北京中关村国家自主创新示范区会议中心成功开幕.包括 Yo ... 5G盛宴,全球瞩目.2021年 11月1日至3日,中国移动全球合作伙伴大会在广州保利世贸博览馆盛大举办.中国移动全球合作伙伴大会是中国移动规模最大.最具影响力的年度盛会,历经八载沉淀与演进,在全球通讯 ... 桃生企业至尊七郎瓷砖新展厅惊艳亮相,将艺术和时尚完美融合,即将成为晋江天工建材城的新地标!2020年桃生企业逆流升级进行中,全新展厅即将揭幕! 全新空间 对话年轻 轻奢于行,优雅于里,全新一楼的设计 ... 能无痕 ps,能将文字转为图像,新一代的 DALL·E 2 有着什么样的魔力? 作者 | 马超 责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 去年 1 月,OpenAI 推 ... 2022年12月29日至2023年1月2日,第十八届中国(深圳)国际文化产业博览交易会将在深圳国际会展中心(宝安)隆重举办.六大主题展馆.12万平主会场将全面展现新时代下我国文化产业的最新成果. 本届 ... 山东如意路嘉纳高级定制西装品牌惊艳亮相intertextile面料展 - 服装资讯中心 - 华衣网 山东如意路嘉纳高级定制西装品牌惊艳亮相intertextile面料展 - 服装资讯中心 - 华衣网 ... 原标题:华为双屏手机设计惊艳亮相 背面的屏幕是干嘛用的? [手机中国新闻]自从全面屏手机爆发以来,手机厂商围绕此不断进行创新,我们可以看到各种各样的全面屏设计,其中就包括双屏手机.此前海信.努比亚和v ... 超级计算机可谓是国之重器,在第十一期<机智过人>现场,世界最快计算机"神威太湖之光"芯片惊艳亮相!超级计算机究竟长什么样?本次来到<机智过人>的人工智能阅片 ...炫到爆炸！HuggingGPT在线演示惊艳亮相相关推荐
最新文章
热门文章