【GPT-3】千呼万唤始出来—

点击上方，选择星标，每天给你送干货！

文 | 小戏
编 | 小轶

源 | 夕小瑶的卖萌屋

GPT3终于开源！不过，不是官方开的（别打我

Eleuther AI推出的名为GPT-Neo的开源项目，于今晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colab notebook之上。需要指出的是这次开源的模型里较大的那个版本也只是到了GPT-3商用版里最小模型的参数量，不过Eleuther AI表示未来会进一步开源10B版本和原始大小版本的GPT3模型参数。

消息发布后，立刻被各个大v转发，10小时内就已迅速收获1.5K的点赞量，相应的github链接也已收获接近2k star。

▲Twitter原文

▲相应Github项目已收获近2k star

但关于复现模型的性能，目前只说“实验表现与原版GPT-3相当”（they performed on par）。具体实验结果将于明天公布。

风靡一时的拥有1750亿超大参数量，一出道便被视作NLP领域最强AI模型的GPT-3，得益于其庞大的参数量，使得GPT-3拥有不用接受特定训练与微调，就能在不同NLP领域达到领先水平的强大能力。去年七月，GPT-3被Open-AI以商业API的形式向公众开放，并被人们探索出了形形色色的应用，从基于问题的搜索，到文本样式转换，从UI界面设计，再到自动生成SQL代码，GPT-3以其卓越的性能展现了其广阔的应用场景，深度学习之父Hinton甚至这样评价道:

如果以GPT-3的出色性能推算未来、生命、宇宙和万物的答案也不过是4.398万亿个参数

但是，由于目前GPT-3的使用模式仍然是付费的商业API，因此并不是所有NLP的研究者都能使用GPT-3完成自己领域的任务与工作。而由Connor Leahy，Leo Gao和Sid Black三人联合创立的Eleuther AI的团队，于去年11月宣布推出GPT-Neo的开源项目，该项目基于GPT系列的设计原理，旨在复现GPT系列的各种项目，在该项目发布之初，其团队成员已经预测可以完成GPT-3级别大小的语言模型。

毫无疑问，GPT-3的开源将会催生出一大批NLP技术的崭新应用，也会以更为低廉的成本释放人们对NLP未来的想象力。以下是项目的Github与推特原文地址。

Github:
https://github.com/EleutherAI/gpt-neo/

Twitter:
https://twitter.com/arankomatsuzaki/status/1373732645444579331?s=05

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！

【GPT-3】千呼万唤始出来——GPT-3终于开源！相关推荐

GPT详细安装教程-GPT软件国内也能使用
GPT (Generative Pre-trained Transformer) 是一种基于 Transformer 模型的自然语言处理模型,由 OpenAI 提出,可以应用于各种任务,如对话系统.文 ...
LLMs：OpenAI 官方文档发布提高 GPT 使用效果指南—GPT最佳实践(GPT best practices)翻译与解读
LLMs:OpenAI 官方文档发布提高 GPT 使用效果指南-GPT最佳实践(GPT best practices)翻译与解读导读:为了获得优质输出,需要遵循几点基本原则: >> 写清 ...
Oracle 要慌了！华为终于开源了自家的 Huawei JDK——毕昇 JDK！
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:硬刚一周,3W字总结,一年的经验告诉你如何准备校招! 个人原创100W+访问量博客:点击前往,查看更多没错,自 ...
什么是GPT，如何克隆GPT类型的磁盘？
文章来源:https://www.reneelab.com.cn/clone-gpt-disk.html 目录一.关于GPT 1.什么是GPT以及其优势? 2.对于磁盘克隆,不同的分区格式有何影响? ...
linux命令管理GPT分区,Linux硬盘GPT分区和MBR分区
之所以想到写这篇,是因为本人在折腾Linux系统的过程中,有多次掉入硬盘分区的陷阱的经历.最近几天,再一次掉入坑中,折腾了两天才从坑中爬出来.经过多方查询资料,终于弄明白了硬盘分区的一些概念.下面将其 ...
.NET Framework终于开源了！
期待已久的.NET Framework终于在本周开源了,微软在MS-RL协议下终于公开了.NET Framework源代码,我们只可以自由查看,不允许直接进行修改.第一批开放的源代码包括: .NET基 ...
N 年沉淀，腾讯这套系统终于开源！
大家好,我是鱼皮,前段时间给大家介绍了字节跳动开源的两套设计系统,分别是 Arco Design 和抖音 Semi Design. 而就在几天前,腾讯终于也开源了自家的设计系统 TDesgin !这次 ...
EfficientDet目标检测谷歌官方终于开源了！
EfficientDet是谷歌大脑于去年11月份公布的目标检测算法族,涵盖轻量级到高精度的多个模型,COCO数据集上达到 50.9 mAP,一经推出便获得了大量关注! 因为结果吸引人,Github上已 ...
gpt windows linux,UEFI+GPT环境下安装Windows+Linux+OS X
前一篇文章讲到了我DIY了一台机子,配置如下. 部件名称价格 CPU i3 3245 ￥530 Motherboard 技嘉 H61M-DS2 ￥109 RAM ADATA 4GB 1600MHZ ...
Swift For TensorFlow终于开源，但先别急着用
问耕发自凹非寺量子位出品 | 公众号 QbitAI 上个月底的TensorFlow开发者峰会上,Google宣布将在四月开源发布Swift for TensorFlow. 就在这个月即将过去的 ...

【GPT-3】千呼万唤始出来——GPT-3终于开源！

【GPT-3】千呼万唤始出来——GPT-3终于开源！相关推荐

最新文章

热门文章