近期,OpenI启智社区召集了技术委员会成员针对社区重点项目进入孵化培育管道的评审决策会议,最终共计通过2个重点开源项目的贡献申请,分别是来自鹏城实验室开源所贡献的鹏程·盘古α项目与来自智源语言大模型加速技术创新中心贡献的OpenBMB项目

恭喜这2个项目正式进入启智社区开源项目孵化管道,它们丰富了OpenI启智社区在模型储备方面的内容,进一步完善社区总体技术架构。

鹏程·盘古α

PanGu-α

2000亿参数中文自回归大模型

贡献者:鹏城实验室

许可证:Apache License 2.0

项目地址:https://git.openi.org.cn/PCL-Platform.Intelligence

鹏程·盘古α是业界首个2000亿参数以中文为核心的预训练生成语言模型,目前开源了两个版本:鹏程·盘古α和鹏程·盘古α增强版,并支持NPU和GPU两个版本,支持丰富的场景应用,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出,具备较强的少样本学习的能力。例如:

Input: 中国和美国和日本和法国和加拿大和澳大利亚的首都分别是哪里?
Generate: 中国的首都是北京,美国的首都是华盛顿,日本的首都是东京,法国的首都是巴黎,澳大利亚的首都是堪培

基于盘古系列大模型提供大模型应用落地技术帮助用户高效的落地超大预训练模型到实际场景。

整个框架特点如下:

主要有如下几个核心模块:

  • 数据集:从开源开放数据集、common crawl数据集、电子书等收集近80TB原始语料,构建了约1.1TB的高质量中文语料数据集、53种语种高质量单、双语数据集2TB。

  • 基础模块:提供预训练模型库,支持常用的中文预训练模型,包括鹏程·盘古α、鹏程·盘古α增强版等。

  • 应用层:支持常见的NLP应用比如多语言翻译、开放域对话等,支持预训练模型落地工具,包括模型压缩、框架移植、可持续学习,助力大模型快速落地。

正在进行的开源工作有:

  • 应用组件:为快速适配用户的应用场景,将推出基于盘古大模型的一系列组件,如微调、压缩、框架迁移等,实现一键式微调和模型迁移功能。

  • 云服务提供:结合智算网络提供模型训练、微调、压缩等开源应用创新的算力支持,优化基础大模型的云服务能力,支持本地调用的同时,也可以在云上实现调用,给用户带来高效的从训练到落地的完整体验。

盘古α项目已在OpenI启智社区实现了数据、算法、模型和服务的逐步全面开源开放,希望以OpenI启智开源社区为载体,集众智、聚众力,吸引开发者共同参与到模型的压缩轻量化和应用创新工作中,不断探索“盘古α”模型的强大潜力。

OpenBMB

Open Lab for Big Model Base

大规模预训练语言模型库与相关工具

贡献者:清华大学、北京智源人工智能研究院语言大模型加速技术创新中心、ModelBest

许可证:Apache License 2.0

项目地址:https://git.openi.org.cn/OpenBMB

OpenBMB全称为Open Lab for Big Model Base,旨在打造大规模预训练语言模型库与相关工具,加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,与国内外开发者共同努力形成大模型开源社区,推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。

OpenBMB将努力建设大模型开源社区,团结广大开发者不断完善大模型从训练、微调、推理到应用的全流程配套工具。

基于贡献者团队前期工作,OpenBMB设计了大模型全流程研发框架,并初步开发了相关工具,这些工具各司其职、相互协作,共同实现大模型从训练、微调到推理的全流程高效计算。

OpenBMB开源社区推崇简洁,追求极致,相信数据与模型的力量。欢迎志同道合的开发者们加入,共同为大模型应用落地添砖加瓦,早日让大模型飞入千家万户。

OpenI启智社区从服务新一代人工智能重大科技项目出发,为我国的新一代人工智能发现项目、培育项目、检验项目和推广项目。目前,社区已孵化33个重点开源项目,形成包含基础设施、软件环境、算法框架、模型储备、应用开发部署的多维度、全流程的社区开源技术体系。

社区坚持以开放的心态与国内外的社区、项目合作,也在“尊重创新”的原则下, 欢迎有志于AI开源事业的开发者加入社区,共同促进AI开源开放生态体系建设。如有意贡献项目和参与社区孵化培育的个人或组织,请参考《启智社区项目开源指南》提供项目相关材料。

恭喜这2个大模型开源项目进入OpenI启智社区孵化培育管道相关推荐

  1. 清华大学OpenBMB正式开源部署至OpenI启智社区:让大模型飞入千家万户

    近年来,随着预训练语言模型技术引发人工智能领域性能革命,大规模预训练模型技术的成熟标志着"大模型时代"的到来.然而在大模型的具体应用与落地中,却存在着"训练难.微调难.应 ...

  2. 开源项目推荐 | 中科院自动化所历时9年打造的类脑认知智能引擎“智脉”正式开源部署至OpenI启智社区

    ​人脑能够自组织地协同数百项认知功能,灵活适应复杂多变的环境.如何整合多尺度生物可塑性法则来构建具有生物合理性和计算高效性的神经网络模型是类脑人工智能和计算神经科学领域共同关注和面临的重要挑战. 中国 ...

  3. 人工智能开源录 | 对话OpenI启智社区:智能无处不在,AI开源创新的发展与探索

    3月7日,由OpenI & InfoQ联合推出的首档直播栏目<人工智能开源录 | 对话OpenI启智社区>在InfoQ视频号正式开播啦~ 首期邀请到的嘉宾是来自鹏城实验室OpenI ...

  4. 拥抱未来,开源先行!OpenI启智社区首批优秀开发者榜单即将出炉

    随着人工智能前沿技术在多行业领域的广泛应用,中国正迎来一场关于AI技术的创新变革,其不仅加快了各行业数字化升级的进程,更明确了AI开发者的角色定位,而且在这场AI变革发展的浪潮中,开源正于技术创新.生 ...

  5. OpenI启智社区开源算法框架推荐——新一代工业视觉无监督异常检测框架“READ”

    工业缺陷检测是工业届非常重要且不可或缺的一项任务,由于工业场景异常缺陷多种多样,传统的机器视觉算法很难实现对缺陷特征完整的建模和迁移,算法复用相对困难,同时要求区分工况,从而造成大量的人力成本的浪费. ...

  6. OpenI/O 2020 启智开发者大会|OpenI启智社区重要成果发布,贡献中国开源力量

    开源技术不仅推动了人工智能.深度学习和大数据能力的提升,共创智能时代发展新可能,同时能帮助企业快速建立自己在AI领域的领先地位,加速实现智慧转型和产品迭代.并且以云为依托,开源已经不再局限于软件技术的 ...

  7. 启智社区“我为开源狂”第六期活动小白教程之基础活跃榜

    一.写在前面 春天来啦~启智社区第六期活动也来啦! 有奖金的哦~~ 基础活跃榜奖金根据用户活跃程度进行100-300元的激励. 挑战升级榜需要用户完成相应任务,达标者可获得300-1000元的激励. ...

  8. 10大机器学习开源项目推荐(Github平均star为1385)

    翻译 | suisui 出品 | 人工智能头条(AI_Thinker) 本文推荐的10大机器学习开源项目是由Mybridge从250个机器学习开源项目中挑选出来的,Github 平均 star为 13 ...

  9. 精选10大机器学习开源项目 !(附链接)

    翻译:suisui 出品:人工智能头条(AI_Thinker) 本文共3800字,建议阅读6分钟. 本文为你精选10大ML开源项目,学起来吧~ 本文推荐的10大机器学习开源项目是由Mybridge从2 ...

最新文章

  1. 百度与华为重磅合作!李彦宏:技术是百度的信仰
  2. mongodb启动不了:child process failed, exited with err
  3. 听说你想去大厂看妹子,带你看看腾讯产品运营实习面经
  4. Java中的锁[原理、锁优化、CAS、AQS]
  5. idea中git提交代码更改作者名字(亲测)
  6. #region的快捷键+++从一个页面中弹出一个新窗口,当新窗口关闭时刷新原窗口!...
  7. 【esp8266】【Node.js】【Websocket】esp8266和Node.js通过websocket进行通信,实验记录及踩坑记录
  8. windows上装Ubuntu
  9. workerman实现聊天室
  10. 自控力lesson14书摘——克服‘紧张症’的法则
  11. 骨传导耳机是利用什么原理听歌?什么骨传导耳机好用
  12. 7 年“键盘手”没在意!某程序员手疼查出骨肿瘤,已让骨头成了“豆腐渣”...
  13. Android与GNU体系
  14. Android studio登陆注册的实现及介绍
  15. 师生使用计算机不得,师生文明上网行为规范
  16. C++性能之战(3)--emplace_back VS push_back
  17. Python之竞技体育IPO
  18. zabbix客户端安装及配置
  19. 号码认证一键免密登录,让验证更简单! 1
  20. 【wp7】简易的语音报时懒人闹钟

热门文章

  1. 惠普电脑u盘重装系统步骤_解决惠普电脑怎么设置u盘启动
  2. Unity TextMeshPro(TMP) 动态效果
  3. 【蓝桥杯省赛真题02】python正方形内切圆 青少年组蓝桥杯python编程省赛真题解析
  4. 088 定积分几何应用之面积、体积、弧长计算方法总结
  5. 15.23数据库(23):MySQL事务
  6. 笔记——信息与信息技术
  7. 2022年G1工业锅炉司炉考试报名及G1工业锅炉司炉复审模拟考试
  8. UCOSII中消息邮箱的使用方法详解
  9. SQLite下载、安装和使用并Qt链接SQLIte全部教程(windows)
  10. tr069开源代码文档_tr069 开源服务器