昇思MindSpore技术公开课系列：保姆级的大模型专题实践课程来了

相信很多小伙伴对在昇思MindSpore支撑下训练出的一系列大模型并不陌生了：鹏程.盘古、鹏程.神农、紫东.太初...

昇思MindSpore大模型历程

昇思MindSpore具备丰富的并行能力，能轻松完成4096卡集群、万亿参数规模的训练任务，因此支撑了国内多个领域首发大模型的训练，这些大模型涉及知识问答、知识检索、知识推理、阅读理解、文本/视觉/语音多模态、生物制药、遥感、代码生成等。总共支撑20+大模型训练，6个千亿参数大模型，覆盖NLP、Audio、CV、多模态等领域。

昇思MindSpore与OpenI启智社区联手推出了昇思MindSpore技术公开课系列课程，带领大家揭秘大模型。

本课程聚焦大模型领域，旨在从实践的角度出发，带领产学研开发者逐步掌握大型语言模型的原理与实现，手把手教大家搭建一个简易版的盘古大模型。课程完全免费，课程材料与代码全部开源，欢迎广大产学研开发者参与课程学习。

一、课程特色

由浅入深的课程内容设计

课程内容逐层递进，从最基础的Transfromer开始，逐步引入大模型演变中的经典模型及技术，每一层的内容都在前一层的基础上进行了拓展和深入，使产学研开发者能够逐步掌握深度学习的核心理论和实践技能。

实践为主的教学方法

课程设置代码实战环节，让学员通过实际的项目实战来运用所学知识，从而更深入地了解模型的使用和应用，同时也能够锻炼大家的实际操作能力。此外，课程中我们会采取理论和代码穿插授课的形式，让大家在原理学习和代码实践中感受到更为紧密的联系。

端到端的模型实践

课程注重模型的端到端实现，从数据预处理到最终模型推理等各个环节都有涉及。帮助大家全面掌握模型的实现流程和调优技巧，从而更好地应对实际问题。

欢迎大家使用启智平台的算力，课上和我们一起同步完成任务代码的运行。感兴趣的小伙伴也可以在课后尝试对模型进行“魔改”，感受大模型和自己的创意可以碰撞出怎样的火花~

与业内专家的互动交流

邀请业内专家参与到课程中来，可以从不同的角度解读理论知识，并分享实际应用中的经验和技巧。这样既可以让学员更好地理解知识点，又能更深入地了解业内最新的技术发展趋势。

完备的学习路径

我们不仅注重于课程本身的设计，还为参与课程的学员们提供了各种不同难度和类型的前序及后续学习任务。学员可以从前序课程打好深度学习基础开始，逐步掌握核心理论和实践技能，同时还能通过社区实践锻炼开源实践能力。

二、课前准备

学习本课程需要一定的深度学习基础，但对这部分知识有所欠缺的小伙伴也不用担心，我们为大家准备了前序学习课程——MindSpore版李沐老师《动手深度学习》（《动手学深度学习》：面向中文读者、能运行、可讨论。中英文版被60多个国家的400多所大学用于教学(https://github.com/mindspore-courses/d2l-zh)）。

建议大家尝试自己动手运行代码，从而更好地理解每个课程单元的内容，这样可以在大模型的正式课程中更丝滑地入学哦。

三、课程安排

课程共分为8节课，4月15日起，每周六下午2：00 - 3：30准时在B站开展直播。

课程结束后视频回放会上传至B站MindSpore官方账号下进行归档。

课程材料及代码可通过如下链接获取：

https://github.com/mindspore-courses/step_into_chatgpt

代码运行可使用启智平台的算力：

https://openi.pcl.ac.cn/zeizei/OpenI_Learning

日期	课程内容
4/15	开场致词 Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder
4/22	BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT
4/29	GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task
5/6	休息
5/13	GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务
5/20	MindSpore自动并行
5/27	代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码
6/3	Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning
6/10	Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts
6/17	RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程（基于人工反馈的评论生成模型）

感兴趣的小伙伴可以扫描下方二维码进入技术公开课群组，我们将在课后在群内进行课程答疑，并放送后续活动参与报名链接。

四、社区实践

据说技术公开课的老师们有一个宗旨：坚决不让大家在完成学习后，又将知识还给自己。为此，我们为大家提供了丰富多元的课后社区实践活动，帮助巩固课后知识，并进行相关实践拓展，从开源实践小白进化成开源专家。

Level 1：社区活动

在这里，你可以体验昇思MindSpore特性与全新套件，为昇思MindSpore优化提出自己宝贵的意见。还可以参与论文复现，对AI传统领域形成一个更加全面的了解。

扫一扫二维码，欢迎参加昇思MindSpore开源社区活动

Level 2：社区实习

想要挑战难度更高任务的小伙伴，可以参与到昇思MindSpore开源社区实习中来。

我们为大家提供了贡献开源代码的平台。在这里，你将在技术专家的带领下，在实际的开源环境中接触前沿技术，提升实践能力，成为昇思MindSpore建设不可或缺的一份子。

相信拥有了开源实践经验的你，今后也可以通过这份经历在的工作招聘和学习深造中脱颖而出！

扫一扫二维码，进入昇思MindSpore开源实习官网，了解报名详情

五、讲师团队

刘群：华为语音语义首席科学家

苏腾：昇思MindSpore技术专家、昇思MindSpore超大规模AI架构师

CQU弟中弟：昇思MindSpore易用性专家、昇思MindSpore布道师

Selina：昇思MindSpore布道师

欢迎大家提前进群，或通过昇思MindSpore各种渠道关注昇思MindSpore技术公开课的后续消息，我们在4月中旬不见不散！

昇思MindSpore

昇思MindSpore是新一代覆盖端边云全场景的开源AI框架，旨在开创全新的AI编程范式，降低开发者门槛，为开发者打造开发友好、运行高效、部署灵活的AI框架，推动人工智能生态繁荣发展。昇思在致力于技术创新的同时，着力打造学习型社区环境，希望凝聚开发者力量共建社区，与开发者共同学习和成长。

OpenI启智社区

OpenI启智社区是在鹏城实验室的支撑下，以鹏城云脑科学装置及软件开发群智范式为基础，由新一代人工智能产业技术创新战略联盟（AITISA）组织产学研用协作共建共享的开源平台与社区，是当前唯一支持在线开放基于鹏城云脑和中国算力网的GPU与NPU算力的开源开放平台，已为上万名AI开源开发者提供普惠服务超过100万卡时。

昇思MindSpore技术公开课系列：保姆级的大模型专题实践课程来了相关推荐

如何加速大模型开发？技术方案拆解来了：昇思MindSpore技术一览
随着人工智能爆火出圈,狂飙之势从22年底持续到23年初,与以往的技术突破不同的是,此次的大模型不仅被技术界关注,而且备受投资界.产业界和大众消费者的追捧,使它成为历史上最快月活过亿的现象级应用,继而引 ...
昇思MindSpore全场景AI框架 1.6版本，更高的开发效率，更好地服务开发者
本文分享自华为云社区<昇思MindSpore全场景AI框架 1.6版本,更高的开发效率,更好地服务开发者>,作者: 技术火炬手. 全新的昇思MindSpore全场景AI框架1.6版本已发布 ...
“智能基座昇腾高校行”中国科学技术大学站 | 昇思MindSpore携高校共同培养科技人才新力量
智能基座昇腾高校行华为智能基座高校行·中国科学技术大学暨MSG·暴走校园活动于4月15日下午成功举办.随着全球新一轮产业变革的加速演进,以人工智能为代表的前沿信息技术已驱动着社会迈入智能化时代.华为 ...
基于昇思MindSpore的同元软控AI系列工具箱正式发布，大幅度降低产品研发成本
随着智能时代的到来,同元软控与华为携手合作,以昇思MindSpore为框架底座,打造了MWORKS AI工具箱,并于2023年1月8号正式对外发布.基于昇思MindSpore的MWORKS AI工具箱 ...
“上新了！开发”系列直播课 #第六期# DAYU200技术公开课
来啦!来啦!!! 华为开发者联盟学堂联合润和软件召集OpenAtom OpenHarmony(以下简称"OpenHarmony")社区大咖--张荣超老师.连志安老师.徐建国老师.梁 ...
技术干货｜昇思MindSpore Lite1.5 特性发布，带来全新端侧AI体验
昇思MindSpore Lite 1.5版本我们主要在异构推理.混合精度推理.端侧训练和混合比特权重量化等特性进行了重点优化,在推理性能.模型小型化和端侧训练易用性与性能等方面带来新的体验.下面就带大 ...
致AI开发者，昇思MindSpore发来“成长”邀请
撰文 / 张贺飞编辑 / 沈洁 2020年,应届毕业的蒋倩成了一名算法工程师,因为工作的原因,蒋倩接触到了刚刚开源的昇思MindSpore. 和许多开发者一样,蒋倩对人工智能和开源社区充满了好奇心, ...
2022开源之夏昇思MindSpore社区活动经验分享
一.前言经过大概3个月的开发,2022年的"开源之夏"活动迎来了尾声,在这次活动中我选择申请了昇思MindSpore社区中的CPU算子开发项目,完成了ParallelConcat ...
昇思MindSpore超级英雄榜发布！超300位开发者入选国内首个AI开源社区开发者进阶榜单...
点击蓝字 MindSpore 关注我们小说界有武侠英雄榜,游戏界有王者英雄榜,那么AI届的超级英雄榜,你了解多少呢?作为人工智能届的明珠昇思MindSpore,从2020年3月28日开源至今,已有4 ...

昇思MindSpore技术公开课系列：保姆级的大模型专题实践课程来了

昇思MindSpore技术公开课系列：保姆级的大模型专题实践课程来了相关推荐

最新文章

热门文章