开源大语言模型完整列表
开源大语言模型完整列表
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。
LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。这些模型通常拥有数十亿到数万亿个参数，能够处理各种自然语言处理任务，如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。
本文对国内外公司、科研机构等组织开源的 LLM 进行了全面的整理。
开源中文 LLM
ChatGLM-6B —— 双语对话语言模型
MOSS —— 支持中英双语的对话大语言模型
MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
伶荔 (Linly) —— 大规模中文语言模型
- 在 32*A100 GPU 上训练了不同量级和功能的中文模型，对模型充分训练并提供强大的 baseline。据知，33B 的 Linly-Chinese-LLAMA 是目前最大的中文 LLaMA 模型。
- 公开所有训练数据、代码、参数细节以及实验结果，确保项目的可复现性，用户可以选择合适的资源直接用于自己的流程中。
- 项目具有高兼容性和易用性，提供可用于 CUDA 和 CPU 的量化推理框架，并支持 Huggingface 格式。
- Linly-Chinese-LLaMA：中文基础模型，基于 LLaMA 在高质量中文语料上增量训练强化中文语言能力，现已开放 7B、13B 和 33B 量级，65B 正在训练中。
- Linly-ChatFlow：中文对话模型，在 400 万指令数据集合上对中文基础模型指令精调，现已开放 7B、13B 对话模型。
- Linly-ChatFlow-int4 ：ChatFlow 4-bit 量化版本，用于在 CPU 上部署模型推理。
Chinese-Vicuna —— 基于 LLaMA 的中文大语言模型
Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。
Chinese-LLaMA-Alpaca —— 中文 LLaMA & Alpaca 大模型
Chinese-LLaMA-Alpaca 包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型。
ChatYuan —— 对话语言大模型
ChatYuan 是一个支持中英双语的功能型对话语言大模型。ChatYuan-large-v2 使用了和 v1 版本相同的技术方案，在微调数据、人类反馈强化学习、思维链等方面进行了优化。
ChatYuan-large-v2 是 ChatYuan 系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、 PC 甚至手机上进行推理（INT4 最低只需 400M ）。
华驼 (HuaTuo) —— 基于中文医学知识的 LLaMA 微调模型
华驼 (HuaTuo) 是基于中文医学知识的 LLaMA 微调模型。
鹏程·盘古α —— 中文预训练语言模型
「鹏程·盘古α」是业界首个 2000 亿参数以中文为核心的预训练生成语言模型，目前开源了两个版本：
开源大语言模型完整列表相关推荐
- 开源大语言模型是否可以商用的调查报告
开源大语言模型是否可以商用的调查报告 0. 背景 1. 调查结果 1.1 基础大模型(LLM) 1.2 对话大模型(ChatLLM) 1.3 多模态对话大模型(MultiModal-ChatLLM) ...
- 开源大语言模型(LLM)汇总（持续更新中）
开源大语言模型(LLM)汇总 随着ChatGPT的火爆,越来越多人希望在本地运行一个大语言模型.为此我维护了这个开源大语言模型汇总,跟踪每天不发的大语言模型和精调语言模型. 我将根据个模型采用的基础大 ...
- 用LangChain构建大语言模型应用
用LangChain构建大语言模型应用 自 ChatGPT 发布以来,大型语言模型 (LLM) 广受欢迎.尽管您可能没有足够的资金和计算资源从头开始训练自己的大语言模型,但您仍然可以使用预训练的大语言 ...
- 大语言模型排行榜来啦！Vicuna夺冠，清华ChatGLM进前5
源 | 新智元 大家好,这里是 NewBeeNLP.万万没想到,现在大语言模型们也要像王者荣耀/LoL/Dota这些游戏里的玩家一样打排位赛了!据说,那些闭源模型们很快也会被拉出来溜溜. 最近,来自 ...
- UC伯克利发布大语言模型排行榜！Vicuna夺冠，清华ChatGLM进前5
[导读]万万没想到,现在大语言模型们也要像王者荣耀/LoL/Dota这些游戏里的玩家一样打排位赛了!据说,那些闭源模型们很快也会被拉出来溜溜. 最近,来自LMSYS Org(UC伯克利主导)的研究人员 ...
- 《安富莱嵌入式周报》第310期：集成大语言模型的开源调试器ChatDBG, 多功能开源计算器，M7内核航空航天芯片评估板, Zigbee PRO规范
周报汇总地址:嵌入式周报 - uCOS & uCGUI & emWin & embOS & TouchGFX & ThreadX - 硬汉嵌入式论坛 - Pow ...
- 中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 针对中文语料进行高效编码
欢迎关注『CVHub』官方微信公众号! Title: Efficient and Effective Text Encoding for Chinese Llama and Alpaca PDF: h ...
- Bossie Awards 开源大数据工具最佳列表
在最佳开源大数据工具奖中,Google的TensorFlow和Beam无可置疑的入选,同时也有Spark,Elasticsearch,Impala,Kylin,Kafka,Zeppelin等市场热点, ...
- 【大模型】开源大型语言模型排行榜：清华大学开放式双语对话语言模型 chatglm-6b 榜上有名
根据大数据分享的4.7K投票数据计算 Elo 评分,得出表 1 排行榜.vicuna 以 1169 分稳居榜首,遥遥领先第二名 koala,他们都是 130 亿参数,而来自清华大学的 chatglm ...
最新文章
- 【UVALive 4642】Malfatti Circles（圆，二分）
- nature | 基于深度学习方法的虚拟组织染色
- Mahout-协同过滤-CF-推荐算法基本概念及代码示例
- 如何用python画圆形的代码-简单实现python画圆功能
- python画函数图-Python 绘制你想要的数学函数图形
- PHP处理图片(orientation)旋转问题
- 前端月趋势榜：4 月最热门的 20 个前端开源项目 - 2104
- Windows 2008上安装VS2008SP1时的怪异错误
- 解决cv2.error: OpenCV(4.0.0)的方法
- 卸载程序_App Cleaner Pro for Mac v6.10.1 程序卸载 直装版
- ASP 中健壮的页结构的异常处理
- 步进电机、伺服电机、舵机的区别与控制（角度、转速）
- 手写输入---随手写
- 为了软银的万亿物联网 ARM取消了一笔企业预授权费用
- 337个人写了一封信，然后北京地铁有了无障碍地图
- 有奖答题小程序知识问答pk答题app源码
- 开到“十字路口”的共享汽车未来怎么走？
- php html转换成word,php如何实现html转换word？
- start with connect by prior用法
- 思科设备命令讲解（超基础）