GPT“高仿”系列开源了!最大可达GPT-3大小,还能自主训练
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
虽然GPT-3没有开源,却已经有人在复刻GPT系列的模型了。
例如,慕尼黑工业大学的Connor Leahy,此前用200个小时、6000RMB,复现了GPT-2。
又例如,基于150亿参数版GPT-3的DALL·E模型刚出,来自康奈尔大学的Philip Wang就开始复现了。
但此前,还没人能复现出GPT-3大小的大语言模型来。
不过,已经有人开始尝试了。这是一个名为GPT-Neo的项目,用于复现GPT系列的各种语言模型,当然也包括GPT-3。
作者表示,目前他们已经成功制造出GPT-2大小的模型。
从项目代码的可扩展性来看,他们预计可以复刻出GPT-3大小的语言模型,甚至比GPT-3更大。
不仅如此,由于这是个开源的项目,大家还可以自主训练这些模型(将来也会包括GPT-3)。
目前,作者已经给出了详细的训练步骤。
消息一出,网友沸腾了:
要是真能复现,说不定会比现在的GPT-3还要更好用!
GPT系列的“高仿”项目
本质上,GPT-Neo有点像是GPT系列的“高仿”项目:
GPT-Neo中的各种模型,设计原理接近GPT系列,但代码并不一样。
作者们打算尝试各种结构和注意力类型,最终扩展出GPT-3大小的大语言模型。
为了实现这一目标,他们从复现GPT系列的模型开始,不断尝试各种模型架构、和各种注意力机制的实现方式。
也就是说,GPT-Neo更像是一个实验性质的项目,通过各种尝试,扩展出更大的模型。
这里面,融合了各种让模型变得“更大”的研究:
例如,多任务学习方法MoE(Mixture of Experts),采用多个专家的结构,将问题空间划分为同质区域,然后采用分发器,决定问题应该问哪些专家。
又比如,具有线性复杂性的自注意力机制。
……
这个项目还在施工中,不过,连模型的训练方式都准备好了。
项目计划通过TPU或GPU,对大语言模型进行训练。
为此,作者们已经基于Tensorflow-mesh(用于在GPU上训练模型)、Deepspeed(用于在TPU上训练模型)两个项目,编写了GPT-Neo的训练代码。
这两个项目都可以扩展到大于GPT-3的大小,甚至还能更大。
因此,训练GPT-3大小的模型,软件理论上是可行的。
但硬件上的问题,目前作者们还在思考明确的解决方案。如果将来真的做出了GPT-3大小的模型,他们打算先从谷歌那多要点免费资源,如果不行的话,就再说……
如何训练GPT-Neo
当然,在TPU和GPU上训练的方式有所不同。
如果使用TPU训练的话,需要注册一个谷歌云平台,创建存储空间,然后再搞个虚拟机,将模型放到TPU上训练。
不过,如果你的GPU硬件足够OK,也可以选择直接训练GPT-Neo,就不用设置一系列谷歌云了。
此外,也可以用谷歌Colab来训练项目,它免费提供TPU-V8S处理器,训练GPT的3XL(1.5B参数)版本绰绰有余。
训练过程也不复杂,主要包括创建分词器、数据集预处理、指定训练数据集、选择训练配置、训练模型几个步骤。
在创建分词器上,GPT-Neo目前提供一个Huggingface的预训练GPT-2分词器。不过,也可以训练自己专属的分词器。
然后,对数据进行预处理,可以直接下载项目提供的数据,也可以使用自己的数据集。
在那之后,指定模型训练所用的数据集,然后对训练方式进行设置,例如优化算法、训练步数等。
然后,指定硬件名称、数量,就可以开始训练模型了。
“只会用谷歌搜索的自动化团队”
不过,对于GPT系列的项目复现,有网友并不看好。
网友认为,GPT-X系列项目,就像是一个由几百人组成的自动化团队,这几百人只会用谷歌搜索来干活,而且还没办法写出最新的新闻事件报道。(因为训练数据无法一直更新)
它虽然是个非常有趣的研究,但目前却还没有一个“杀手级”应用,来让GPT-3项目的存在变得更有意义。
当然,也有人认为,复现这一项目还是有意义的。
即使只是“几百个只会用搜索引擎干活的团队”,他们也需要快速给出某个问题的答案。
如何在大量零碎信息中,高效地选出最优解,本身就是GPT-X项目的价值之一。毕竟如果只是几百个“会用谷歌搜索”的人组成的团队,是无法像GPT-3一样,快速得出最佳答案的。
当然,也有一些程序员调侃,要是这个GPT-3项目真的被复现了,岂不是他们马上就要失业了。
“我们总是在用谷歌搜索、和stackoverflow来解决问题。这不就是像GPT-3一样,只会整合搜索引擎上的信息,来解决问题吗?”
“该死,原来GPT-3竟然可以取代这么多程序员。”
目前,GPT-Neo的所有项目和代码已开源。
想要上手一试、或是对项目感兴趣的小伙伴,可以行动起来了~
项目地址:
https://github.com/EleutherAI/gpt-neo
参考链接:
https://www.eleuther.ai/gpt-neo
https://news.ycombinator.com/item?id=25819803
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
加入AI社群,拓展你的AI行业人脉
量子位「AI社群」招募中!欢迎AI从业者、关注AI行业的小伙伴们扫码加入,与50000+名好友共同关注人工智能行业发展&技术进展:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
GPT“高仿”系列开源了!最大可达GPT-3大小,还能自主训练相关推荐
- (android高仿系列)今日头条 --新闻阅读器 (三) 完结 、总结 篇
从写第一篇今日头条高仿系列开始,到现在已经过去了1个多月了,其实大体都做好了,就是迟迟没有放出来,因为我觉得,做这个东西也是有个过程的,我想把这个模仿中一步一步学习的过程,按照自己的思路写下来,在根据 ...
- (android高仿系列)今日头条 --新闻阅读器 (二)
高仿今日头条 --- 第一篇:(android高仿系列)今日头条 --新闻阅读器 (一) 上次,已经完成了头部新闻分类栏目的拖动效果. 这篇文章是继续去完善APP 今日头条 这个新闻阅读器的其他功能 ...
- 2016年最经典的高仿系列源码打包下载4.84G
│ JAVAapk.com文件列表生成.bat │ 例子大全说明.txt │ 本例子永久更新地址~.url │ 目录列表2015.11.04更新.txt ...
- (android高仿系列)今日头条 --新闻阅读器 (一)
在模仿中循序渐进,以程序员角度去看待每一个APP是如何实现的,它有什么优缺点,并从中提升自己. 之前发现很多人在群里面.论坛上求网易新闻客户端的源码,之后我就去下了个网易新闻客户端和今日头条新闻客户端 ...
- GPT「高仿」问世:GPT-Neo,最大可达GPT-3大小,已开源 | AI日报
GPT"高仿"问世:GPT-Neo,最大可达GPT-3大小,已开源 近日,有个名叫 EleutherAI的团队(创始成员为:Connor Leahy,Leo Gao和Sid Bla ...
- android高仿今日头条 --新闻阅读器
摘要: 开发流程 第一篇:(android高仿系列)今日头条 --新闻阅读器 (一) 涉及到的知识点有 1.slidingmenu.lib (侧拉菜单包) 使用方法配置以及下载:点击这里 实 ...
- 盘点几个开源的高仿项目,B站最像~
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 学技术的,多多少少都仿过出名的产品. 一来,可以练练手, ...
- 高仿QQ即时聊天软件开发系列之三登录窗口用户选择下拉框
上一篇高仿QQ即时聊天软件开发系列之二登录窗口界面写了一个大概的布局和原理 这一篇详细说下拉框的实现原理 先上最终效果图 一开始其实只是想给下拉框加一个placeholder效果,让下拉框在未选择未输 ...
- Android 高仿唱吧 咔拉ok 商业项目开源代码 K歌合成 伴奏录音合成MP3(音频五)
Android MediaRecorder录音录像 暂停 继续录音 播放 ARM格式(音频一) https://blog.csdn.net/WHB20081815/article/details/88 ...
最新文章
- FTP、HTTP断点续传和多线程的协议基础
- python读取txt文件并写入excel-Python实现读取并写入Excel文件过程解析
- 【字节码插桩】AOP 技术 ( “字节码插桩“ 技术简介 | AspectJ 插桩工具 | ASM 插桩工具 )
- 【反欺诈】互金欺诈与反欺诈
- 人工蜂群算法_如果你的团队能够像人工蜂群一样战斗
- C#小游戏—钢铁侠VS太空侵略者
- Gentoo man手册指南
- 正则表达式验证密码强度
- 机器学习及大数据经典算法笔记汇总
- 挖出一个面试刷题的宝藏资源,赶紧收下了~
- Struts 配置文件
- 扒一扒那些奇葩的甲方吧
- UVa 10970 大块巧克力
- Android十大最新技术,Android十大常用技术揭秘-挑战-挑战
- 周杰伦2011所有歌曲完整版无删节全正版打包免费下载 http://115.com/file/bhr
- xp计算机无线开关机,xp定时关机与重启妙法 -电脑资料
- 浙大计算机学硕453分,卷卷卷!2021计算机专业考研神仙打架:浙大最高分超450,人均400+?...
- 伴着代码,那个女孩儿慢慢长大
- 测试智商多高的软件,智商测试:测测你的智商多高
- ikbc键盘解锁上锁 解决win键失灵的问题
热门文章
- 【Android】Retrofit 2.0 的使用
- Android多线程之ArrayBlockingQueue源码解析
- 清华大学 现代软件工程 结对编程项目 (一)
- 如何检测出定制服务器中预装的恶意软件?
- centos6.5下iptables基础知识详解与配置
- Cannot run Eclipse; JVM terminated. Exit code=13
- 【CSS进阶】CSS 颜色体系详解
- Mysql按周,按月,按日,按小时分组统计数据
- 12.3、Libgdx的图像之截屏
- WPF的ListBox中的RadioButton不能单选问题