单卡3090可得专属ChatGPT：使用LoRA+ChatGLM
为了促进大模型在中文NLP社区的开放研究以及广大垂直领域的应用， 我使用LoRA对基于清华ChatGLM（中英双语训练）以及其他大佬使用中文指令精调的Alpaca大模型进行进一步的微调，并给出训练得到的LoRA权重及与原模型参数融合的方式，各位可以根据需求自取。
地址：
（ https://github.com/super-wuliao/LoRA-ChatGLM-Chinese-Alpaca）大佬们帮忙给个星星呀！
针对ChatGLM模型，因为其本身预训练的语料就包含了大量中文，已经能生成相当符合人类偏好的回答，因此对其进行进一步的通用中文指令精调意义不大， （这里给出我使用五万BELLE项目产生的中文指令数据集及在此基础上训练七个epoch后得到的LoRA权重，各位可自行对比与原ChatGLM的区别） 后续会直接尝试基于LoRA、P-tuning v2等参数有效性方法针对垂直领域进行训练。（当然首先是中文语法纠错领域，既然ChatGPT让我无路可走， 那么本着打不过就加入的原则我得抓紧提升语法纠错的效果，卷死之前传统方法的同行们）
由于LLaMA模型并不具备类ChatGPT直接对话的能力， 后来斯坦福老哥使用5万左右的数据（ChatGPT生成的答案，实乃用魔法打败魔法，只有openai受伤的世界is coming）对LLaMA进行了finetune，发布了Alpaca（小羊驼）， 使其能够支持像ChatGPT一样进行对话。同时由于其训练语料基本为英语，看到有人直接使用LoRA进行中文语料微调的效果并不是很理想，因此这里使用 Chinese-LLaMA-Alpaca 开源的使用中文纯文本数据对LLaMA进行二次预训练并使用指令数据精调的Chinese-Alpaca（中国小羊驼）作为基准模型，继续使用LoRA针对垂直领域进行训练。
再次恳求善良的大家点颗星星呗（https://github.com/super-wuliao/LoRA-ChatGLM-Chinese-Alpaca）
单卡3090可得专属ChatGPT：使用LoRA+ChatGLM相关推荐
- CPM-2细节发布！10大技术打通大模型「任督二脉」，单卡单机跑「千亿模型」不再是梦...
智源导读:最近两年,预训练模型的参数量以每年 10 倍的速度迅猛增长,然而其计算效率的瓶颈也日渐显现. 例如以单块NVIDIA V100 GPU训练,GPT-1的计算时间是 3 天,到GPT-2 计算 ...
- 单卡就能运行AI画画模型，小白也能看懂的教程来了，还有100万卡时免费NPU算力可用丨昇思MindSpore...
允中 发自 凹非寺 量子位 | 公众号 QbitAI 昇思MindSpore首个可训练的diffusion模型DDPM马上要和大家见面了,操作简单,可训练+推理,单卡即可运行,欢迎广大产学研开发者使用 ...
- 单卡手机怎么变双卡双待全过程
魅族MX可以双卡双待了 作为魅族的忠实粉丝,拿到魅族MX的那一刻,那熟悉的身影映入我的眼帘时我是何等的满足,何等的激动啊!尽管我很喜欢它,但是它也不是完美的.单卡单待的手机满足不了我工作和生活的需要, ...
- pytorch 使用DataParallel 单机多卡和单卡保存和加载模型时遇到的问题
首先很多网上的博客,讲的都不对,自己跟着他们踩了很多坑 1.单卡训练,单卡加载 这里我为了把三个模块save到同一个文件里,我选择对所有的模型先封装成一个checkpoint字典,然后保存到同一个文件 ...
- pytorch：加载预训练模型(多卡加载单卡预训练模型，多GPU，单GPU）
在pytorch加载预训练模型时,可能遇到以下几种情况. 分为以下几种 在pytorch加载预训练模型时,可能遇到以下几种情况. 1.多卡训练模型加载单卡预训练模型 2. 多卡训练模型加载多卡预训练模 ...
- iphone双卡_单卡 iPhone 变双卡，3分钟搞定安卓备用机短信——IFTTT妙用
〇.前言 虽然双卡手机在天朝早已遍地开花,甚至 iPhone 都在 2018 年支持了双卡,我使用的依然是单卡手机,而且是两部.它们虽然都是好几年前的手机了,但依然「够用」,所以我一直无缘新的双卡手机 ...
- 基于JNA（Java Native Access）实现RFID单卡、多卡读取以及写入。
前言 在对RFID等硬件操作中,会使用C或C++进行实现,但如果是基于Java环境进行开发,就会和C++.C进行交互,调用底层的一些方法.在JNA出现之前,使用JNI会存在封装性不好.不稳定等问题. ...
- 关于安卓系统4.0/5.0/6.0获取单卡手机，双卡手机的imei1，imei2，meid（用反射来实现，史上最详细，最全面获取）--binbinyang
有的人问我要代码跟例子,上次在GITHUB上弄了一个,提供地址 给大家 https://github.com/binbinyYang/GetPhoneInfo https://github.com/b ...
- 万智牌天使恩典oracle,万智牌幻灭时刻限制赛单卡再评价（上）
大家好! 又到了喜闻乐见的打脸系列.每当写这两篇文章的时候,我的内心都是有些绝望的,因为我不得不承认自己之前说错那些东西.即使这些"错误"无法避免,我也不想总打自己的脸不是. 嗯, ...
最新文章
- 李开复Bengio大咖对话：下一阶段AI最大机遇在这4个领域
- 基本数据类型与表达式5 - 零基础入门学习Delphi06
- Serverless 实战 —— Funcraft + OSS + ROS 进行 CI/CD
- Integer’s Power HDU - 3208（容斥原理）
- pc端jquery左右按钮控制带缩略图的图片切换代码_Web开发实用的图片预览插件，简单零依赖——PhotoSwipe...
- java定义js函数_JS中可以先使用函数,然后再定义.
- Atitit v3项目快速推进的推荐技术标准化 规范 流程
- 《软件方法》书中自测题大全-题目全文+分卷自测
- SAP HANA XS 专栏
- 计算机辅助设计技术领域的应用,计算机辅助设计技术在机械设计中的应用探讨...
- 数据库分页的几种实现
- 手把手教你写Ov7725摄像头数据采集模块（带Verilog代码）
- 网传三星手机大半夜黑屏乱码，原因竟然是闰四月？
- Minieye-M3 防撞预警产品硬件系统方案---基于AR0132RGB+MTK架构
- Anaconda Prompt到底是什么？ 和系统自带cmd命令提示窗区别又是什么？
- Jyutping（粵拼）詳細教程
- 最强悍的围棋人机对战程序 MoGo ！
- Content type 'multipart/form-data;boundary=----WebKitF;charset=UTF-8' not supported
- ICPC训练联盟2021寒假冬令营(7)_2021.01.26_笔记
- Mac 升级系统到 10.14 Majave 后原来购买的正版 CleanMyMac 3不能正常使用的解决方法