中科院自动化所：紫东.太初

从16年的AlphaGo，到17年的AlphaZero，再到18年的AlphaFold，再到2020的GPT-3，人工智能演化发展的速度进一步加快。GP从11亿参数的GPT到150亿参数的GPT-2，再到1750亿参数的GPT-3。

1750亿参数的GPT-3。

为了训练GPT-3，微软新建了一个搭载了1万张显卡，价值5亿美元的算力中心。

模型在训练上则消耗了355个GPU年的算力，而成本超过460万美元。

其成果是显而易见的，GPT-3不仅在NLP方面取得了惊人的成就。

GP从11亿参数的GPT到150亿参数的GPT-2，再到1750亿参数的GPT-3。

今年1月，2000亿参数的鹏程.盘古发布。模型学习了40TB中文文本数据，视觉方面则包含超过30亿参数，兼顾了图像判别与生成能力，模型在16个下游任务中大部分指标优于SOTA模型，

除了大规模，多模态也是人工智能发展的重要方向，中科院自动化所推出了全球首个三模态大模型：紫东.太初。获得了MM2021视频描述国际竞赛的第一名，ICCV2021视频理解国际竞赛第一名。

中科院自动化所：紫东.太初相关推荐

ModelArts部署紫东太初大模型推理服务经验分享
零.项目背景需要在ModelArts上部署微调后的下游任务推理服务. 主要踩坑点: 一.环境准备 MindSpore 1.6.1 Docker 20.10.17 紫东太初模型代码 omni-perc ...
昇腾AI与“紫东.太初”赋能法律服务，多模态大模型迈向“多专多能”
日前举办的华为全联接大会2022上,中国科学院自动化研究所所长徐波在演讲中提出了一个新观点:"多模态是人工智能迈向通用化的关键一步." 学术界并不缺少大模型的"摇旗者&q ...
紫东.太初再进化，揭秘全模态大模型的想象力
半个月前的一场内部分享中,奇绩创坛创始人陆奇直言:他已经跟不上大模型时代的"狂飙"速度了. 在ChatGPT引发的现象级讨论下,千亿级大模型的军备竞赛愈演愈烈,不少企业赶趟儿式的交 ...
紫东太初：自动化所开源图-文-音三模态的预训练大模型
近日,中科院自动化所研发并开源了全球首个图文音(视觉-文本-语音)三模态预训练模型,兼具跨模态理解和生成能力,具有了在无监督情况下多任务联合学习.并快速迁移到不同领域数据的强大能力.自动化所构建了具有 ...
中科院自动化所招AI算法实习生！
点上方蓝字视学算法获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :中科院自动化所主要职责: 1. ...
【调剂】中科院自动化所医疗机器人课题组招收调剂研究生
点击文末的阅读原文或者公众号界面左下角的调剂信息或者公众号回复"调剂"是计算机/软件等专业的所有调剂信息集合,会一直更新的. 导师介绍:边桂彬,研究员,中国科学院自动化研究所复杂系 ...
ACMMM2017 | 电子科大斩获最佳论文！中科院自动化所多媒体计算组获得IEEE期刊最佳论文！
本文授权转自专知(Quan_zhuanzhi) 第25届ACM国际多媒体会议(ACM International Conference on Multimedia, 简称ACM MM)于2017年10 ...
中科院自动化所17篇CVPR 2022 论文新作速览！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达仅作学术分享,不代表本公众号立场,侵权联系删除转载于:中科院自动化 ...
中科院自动化所博士带你入门CV物体检测算法
物体检测通常是指在图像中检测出物体出现的位置及对应的类别,它是计算机视觉中的根本问题之一,同时也是最基础的问题,如图像分割.物体追踪.关键点检测等都依赖物体检测. 从应用来看,物体检测已广泛应用于大家 ...

中科院自动化所：紫东.太初

中科院自动化所：紫东.太初相关推荐

最新文章

热门文章