亚马逊云科技使用Inf2实例运行GPT-J-6B模型

在2019年的亚马逊云科技re:Invent上，亚马逊云科技发布了Inferentia芯片和Inf1实例这两个基础设施。Inferentia是一种高性能机器学习推理芯片，由亚马逊云科技定制设计，其目的是提供具有成本效益的大规模低延迟预测。时隔四年，2023年4月亚马逊云科技发布了Inferentia2芯片和Inf2实例，旨在为大型模型推理提供技术保障。

Inf2实例的应用场景

使用亚马逊云科技Inf2实例运行流行的应用程序，例如文本摘要、代码生成、视频和图像生成、语音识别、个性化等。Inf2实例是Amazon EC2中的第一个推理优化实例，引入了由NeuronLink（一种高速、非阻塞互连）支持的横向扩展分布式推理。现在可以在Inf2实例上跨多个加速器高效部署具有数千亿个参数的模型。Inf2实例的吞吐量比其他类似的Amazon EC2实例高出三倍，延迟低八倍，性价比高出40%。为了实现可持续发展目标，与其他类似的Amazon EC2实例相比，Inf2实例的每瓦性能提高了50%。

使用Inf2实例运行GPT-J-6B模型

GPT-J-6B是由一组名为EleutherAI的研究人员创建的开源自回归语言模型。它是OpenAI的GPT-3最先进的替代方案之一，在聊天、摘要和问答等广泛的自然语言任务中表现良好。

该模型由28层组成，模型维度为4096，前馈维度为16384。模型维度分为16个头，每个头的维度为256。旋转位置嵌入（RoPE）应用于每个头的64个维度。使用与GPT-2/GPT-3相同的一组BPE，使用50257的标记化词汇训练模型。

Hyperparameter	Value
n_parameters	6,053,381,344
n_layers	28*
d_model	4,096
d_ff	16,384
n_heads	16
d_head	256
n_ctx	2,048
n_vocab	50,257 (same tokenizer as GPT-2/3)

GPT-J-6B基础设施有60亿个参数，非常适合大语言模型（LLM）学习的入门版本，进行文本生成测试。在部署过程中，用到了Neuron SDK和transformers-neuronx。transformers-neuronx是由AWS Neuron团队构建的开源库，可帮助使用AWS Neuron SDK运行转换器解码器推理工作流程。目前，它提供了GPT2、GPT-J和OPT模型类型的演示脚本，它们的前向函数在编译过程中重新实现，以进行代码分析和优化，并且可以基于同一个库实现其他模型架构。AWS Neuron优化的转换器解码器类已使用称为PyHLO的语法在XLA HLO（高级操作）中重新实现。该库还实现了张量并行（Tensor Parallelism），以跨多个NeuronCore对模型权重进行分片。

亚马逊云科技使用Inf2实例运行GPT-J-6B模型相关推荐

亚马逊云科技云创计划携手 SegmentFault 思否，成就 AI 探路者
‍‍ AI 无疑是这个夏天最"出圈"的话题. ChatGPT 的爆红向 AI 产业释放了"走出实验室"的信号,并提供了"从通用范式落地到具体场景&qu ...
亚马逊云科技凭借多年云业务经验，协同合作伙伴快速展开生态化创新
在过去的两周里,ChatGPT的热度居高不下,引发全网讨论.虽然AlphaGo这类AI产品也曾引起热议,但是在应用层面终究还是离用户太远了.而ChatGPT更像是「民用级」的产品,真正意义上让AI技术 ...
“成本刺客”防不胜防，如何应用亚马逊云科技驾驭云成本
达尔文曾说过"能够生存下来的生物, 既不是最强壮的, 也不是最聪明的, 而是最能够适应变化的物种." 面对眼下经济的不确定性,很多企业在压力下,被动进入到"节衣缩食&qu ...
定位赋能与开放，亚马逊云科技围绕三大场景推动汽车行业数字化转型
数据智能产业创新服务媒体 --聚焦数智 · 改变商业汽车"新四化"背景下,聚焦三大场景推动数字化转型全球汽车行业正面临着百年不遇的深刻变革,从新能源车的弯道超车,到自动驾驶的起 ...
亚马逊云科技助力游戏运行不掉帧
前言: 相信很多玩家在玩游戏时会经常关心一个叫FPS的(画面每秒传输帧数)指标.因为这个东西高就证明你的游戏运行流畅不卡顿,低于70左右的话,我们的游戏画面就会像看幻灯片一样难受. FPS通俗来讲就是 ...
智能分层、满足更高工作负载，亚马逊云科技加速云端存储服务创新
编辑 | 宋慧出品 | CSDN 云计算分布式存储 Amazon S3.弹性计算 Amazon EC2,都是亚马逊云科技的当家产品.在云原生.人工智能.数据分析领域继续发挥技术优势,夯实云技术领先 ...
16 年云存储历程，亚马逊云科技如何应对数据存储挑战
随着千行万业的数字化转型,数据量暴涨,数据获得了空前的关注度.作为存储计算网络的三大 IT 基础设施之一,数据存储一直占据 IT 支出的重要部分.不过,在疫情和经济下行的趋势与压力之下,如何通过创新的 ...
亚马逊云科技：云计算提速人工智能辅助药物发现(AIDD)，药物研发全面步入“AI时代”
2020年底,DeepMind旗下人工智能(AI)系统AlphaFold在蛋白质分子结构预测领域取得了史无前例的进步.这不仅有力推动了生命科学领域的发展,也愈发印证了具备掌握"暗知识&quo ...
激活数据潜力亚马逊云科技重塑云上存储“全家桶”
众所周知,重塑是亚马逊云科技重要的文化,已经渗入到了企业的血液当中,在重塑文化引领下,亚马逊云科技在各个领域不断创新突破,为用户提供了丰富的产品和服务. 作为云计算的领军企业,亚马逊云科技在计算.存储 ...

亚马逊云科技使用Inf2实例运行GPT-J-6B模型

亚马逊云科技使用Inf2实例运行GPT-J-6B模型相关推荐

最新文章

热门文章