“超越”(MMCU)中文通用大语言模型测试集预发布
近期，中文大语言模型蓬勃发展，但却一直没有出现可应用于评测大模型能力的测试。甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试，并在此基础上制作了一套适配测试中文大模型的数据集，并将其命名为“超越”。
数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。通过综合评估模型在多个学科上的知识广度和深度，能够帮助研究者更精准地找出模型的缺陷，并对模型的能力进行打分。
简介
自ChatGPT发布以来，大语言模型(LLMs)保持着在计算机科学技术与自然语言处理领域的热度，并且仍不断升温。ChatGLM、 MOSS、文心一言、通义千问、商量、星火等众多具备中文能力的大模型也接连发布。这些模型有着庞大的数据规模，通过广泛的预训练以达到能够正确理解人类话语和指令并生成类似人类语言的文本的能力。
目前，针对英文大语言模型已经有较为完善的评测方式，如2021年由Dan Hendrycks等人发布的MMLU。然而，针对中文大语言模型能力的测试仍然缺失，推出高质量中文评测数据集已经迫在眉睫。
于是，甲骨易AI研究院制作了一个大规模的多任务测试数据集——“超越”(Massive Multitask Chinese Understanding)。“超越”的意义是希望中文大语言模型“超”出多数模型只能基于英文数据集测试的现状，通过发现大模型的缺陷，从而促进大模型理解中文语言的能力，使其“越”来越强大。
“超越”所包含的题目由来自不同知识分支的单项和多项选择题组成。数据集中的问题是由专业人员从公开免费资源中收集，覆盖学科面广，专业知识难度高，适合用来评估大模型的综合能力。
为了测试数据集的可行性和效果，甲骨易AI研究院在正式公开前已经使用其对目前开源的大模型进行了评测。“超越”数据集预计于2023年5月20日正式公开发布获取方式，具体发布相关信息详见文末。
接下来，将对“超越”数据集(MMCU)中所收录的题目进行介绍，并基于测试结果分析数据在语言模型训练过程中的重要性。
多任务测试
“超越”数据集(MMCU)的测试内容来自医疗、法律、心理学和教育四个大类的题目，包含单项选择和多项选择题，目的旨在使测试过程中模型更接近人类考试的方式。
数据集共收集了11900个问题，将其分成 few-shot开发集和一个测试集。few-shot开发集每个主题有5个问题，共有55个问题；测试集共有11845个问题。
下面分别对不同领域测试题目的学科和子任务示例进行展示。
医疗
医疗类题目来自大学医学专业考试，包括医学三基、药理学、护理学、病理学、临床医学、传染病学、外科学、解剖学等，共有2819个问题。
示例：
首次急性发作的腰椎间盘突出的治疗方法首选：
A. 绝对卧床休息，3 周后戴腰围下床活动
B. 卧床休息，可以站立坐起
C. 皮质类固醇硬膜外注射
D. 髓核化学溶解
法律
法律类题目来自国家统一法律职业资格考试，包括中国特色社会主义法治理论、宪法、中国法律史、国际法、刑法、民法、知识产权法、商法、经济法、劳动与社会保障法等，共有3695个问题。
示例：
根据法律规定，下列哪一种社会关系应由民法调整？
A. 甲请求税务机关退还其多缴的个人所得税
B. 乙手机丢失后发布寻物启事称：“拾得者送还手机，本人当面酬谢”
C. 丙对女友书面承诺：“如我在上海找到工作，则陪你去欧洲旅游”
D. 丁作为青年志愿者，定期去福利院做帮工
心理学
心理学类题目来自心理咨询师考试和研究生入学考试心理学专业基础综合考试，包括心理学概论、人格与社会心理学、发展心理学、心理咨询概论、心理评估、咨询方法等，共有2000个问题。
示例：
把与自己本无关系的事情认为有关，这种临床表现最可能出现于：
A. 被害妄想
B. 钟情妄想
C. 关系妄想
D. 夸大妄想
教育
教育学题目来自中国普通高等学校招生全国统一考试（中国高考），包括语文、数学、物理、化学、政治、历史、地理、生物，共有3331个问题。
示例：
若圆锥的侧面积等于其底面积的3倍，则该圆锥侧面展开图所对应扇形圆心角的度数为（ ）。
A. 60°
B. 90°
C. 120°
D. 180°
评测过程
依靠以上获取到的优质数据，可以开始对大模型的能力评测。下面将介绍本次评测的一些模型和评测方式。
评测模型：
Bloom系列：bloomz_560m、bloomz_1b1、bloomz_3b、bloomz_7b1_mt
清华大学知识工程和数据挖掘小组：ChatGLM 6B
复旦大学：MOSS 16B
OpenAI：GPT-3.5-turbo
评测方式：zero-shot和few-shot
zero-shot模式：题目直接输入到模型以获取答案并计算准确率。
few-shot模式：先给模型提供5个问题和答案的例子，再附上问题让模型给出答案。
相关测试代码见：github.com/Felixgithub2017/MMCU
评测结果
通过比较各个模型的 zero-shot准确率（如图1和表1），GPT-3.5-turbo在四个领域的正确率都遥遥领先；MOSS 16B模型虽然有160亿参数，但准确率却只接近随机准确率(大约25%)；bloomz_560m 模型的参数量最小，表现却超越了参数量更大的模型。评测结果体现了大模型的参数量不是评价大模型的唯一标准，在训练过程中数据的质量也应得到重视。
测试结果还表明，所有模型在few-shot模式下都有不同程度的性能下降。例如，与 zero-shot 准确率相比，GPT-3.5-turbo 在语文、化学、政治子任务上的few-shot 准确率都有下降(见表2和表3)。
表2 所有模型在教育子任务上的few-shot准确率
表3 所有模型在教育子任务上的zero-shot准确率
结论
大模型训练通常采用海量互联网公开数据，因此数据高效筛选以及垂直领域高质量数据的标注也非常重要。通过测试发现，在四大领域中，所有模型的平均zero-shot的准确率均未超过0.5，这就证明了目前所有模型的中文训练数据还存在明显不足。
测试的结果表明，更大的模型参数量不一定带来更好的性能，而训练方式和所用数据质量也是至关重要的，需要得到更多的重视。研究者们应该考虑如何设计更好的建模方式以便更好地学习文本数据中蕴含的知识，并且思考如何准备或者标注优质的数据集，去使中文大模型获得更准确的理解能力和文本生成能力。
写在最后
综上，就目前而言，用于评测大模型的高质量中文数据集仍是稀缺资源，但行业内却亟需一种公开、科学的方式来测试大模型的能力。甲骨易AI研究院率先提出要制作出一套高质量的中文数据集，并迅速搜集整合数据资源完成了“超越”数据集，成为国内首家制作中文专门领域多任务数据集的研究单位。
甲骨易AI研究院致力于推动计算机信息科技与自然语言处理领域的发展，希望扩大中文语言在大模型中的应用，促进中文大语言模型的理解力与生成力。“超越”数据集(MMCU)正是为了帮助每一位正在LLMs和NLP方向研究的学者、专家以及工程师，携手促进中文大语言模型向着更准确、更智能、更优质的方向发展。后续，甲骨易AI研究院也依旧会根据反馈持续优化“超越”数据集。
甲骨易AI研究院预计于2023年5月20日14点甲骨易第三空间举办“超越”数据集发布会，我们诚挚地邀请您莅临。
如果您对该测试集感兴趣，可直接与小编联系 13552301021（微信同号）。
发布会报名链接：https://jinshuju.net/f/ig5SQP
报名二维码：
“超越”(MMCU)中文通用大语言模型测试集预发布相关推荐
- 中文信息处理——语料划分测试集与训练集
本系列所有文章都是基于人民日报语料处理 199801.txt import randomdef split(all_list, shuffle=False, ratio=1):num = len(al ...
- 【通用大语言模型】GLM-130B：一个开放的双语预训练模型
GLM-130B:一个开放的双语预训练模型 论文:https://aclanthology.org/2022.acl-long.26.pdf There have been various types ...
- 清华大学朱旭峰：中国智库大数据报告2017预发布
大数据.人工智能.虚拟现实等新锐弄潮儿,在这个会场上袒露心声,让我们继续智慧的交融与碰撞,来看看2018年大数据重构行业下的新机遇.在1月28日的清博盛典中,清华大学公共管理学院副院长朱旭峰为我们分享 ...
- 西北工业大学与华为联合研发的首个面向飞行器的流体力学大模型“秦岭·翱翔”预发布
近日,第四届全国智能流体力学研讨会暨第二届智能流体力学产业联合体大会,在杭州市西湖大学云谷校区召开,大会预发布了产业联合体阶段性重大研究成果:基于昇腾AI的面向飞行器的首个流体力学大模型--" ...
- 中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 针对中文语料进行高效编码
欢迎关注『CVHub』官方微信公众号! Title: Efficient and Effective Text Encoding for Chinese Llama and Alpaca PDF: h ...
- 阿里达摩院发布中文领域最大规模语言模型PLUG测试访问地址
**阿里达摩院发布中文领域最大规模语言模型 ** 测试地址: https://nlp.aliyun.com/portal#/BigText_chinese
- 1.6 开发集和测试集的大小-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.5 训练/开发/测试集划分 回到目录 1.7 什么时候该改变开发_测试集和指标 开发集和测试集的大小 (Size of Dev and Test Sets) 在上一个视频 ...
- 测试集没标签，可以拿来测模型吗？
文:维建 编:白鹡鸰 背景 正常情况下,我们可以用一个带标签的数据集来测试分类器的表现(称之为测试集).然而,现实中,因为种种因素的制约(标注成本高.标注难度大等 Google:穷人不配搞机器学习), ...
- 用LangChain构建大语言模型应用
用LangChain构建大语言模型应用 自 ChatGPT 发布以来,大型语言模型 (LLM) 广受欢迎.尽管您可能没有足够的资金和计算资源从头开始训练自己的大语言模型,但您仍然可以使用预训练的大语言 ...
最新文章
- python中正确的输入语句x、y=input_语句x=input()执行时,如果从键盘输入12并按回车键,则x的值是( )。_学小易找答案...
- C# List 嵌套学习总结
- Android + kernel USB host 如何判断插入的设备是高速还是低速的设备
- 数学物理方法pdf_《数学物理方法》周明儒（第2版）补充材料与习题详解
- php判断表单提交是否为空,JS判断提交表单不能为空代码 多种方案
- Java实现连连看源代码文档_Java实现游戏连连看（有源代码）
- 数据冗余的理解和相关概念
- 家庭问题（信息学奥赛一本通-T1362）
- 函数遍历IOS中block的使用
- 【Elasticsearch】如何在Elasticsearch中使用排名评估API
- mysql主从延迟设置
- 基于javaweb+jsp的健康体检信息管理系统(JavaWeb JSP MySQL Servlet SSM SpringBoot Bootstrap)
- echarts 中国地图——迁徙流向图
- C# IMEI15位转换成8位密码
- 计算机一级如何添加对角线,如何在表格中添加对角线
- C语言移动营业厅程序设计,c语言实现移动电话系统
- 小白windows内网离线部署宝塔面板
- R语言怎么批量进行fisher检验？
- Android 实现左右声道播放不同音乐
- iOS/OS X内存管理（二）：借助工具解决内存问题