CORGI-PM:首个中文性别偏见探索和缓解数据集
来自:NLP工作站
写在前面
今天给大家带来一篇性别偏见探索和缓解的中文数据集-CORGI-PM,全名《CORGI-PM: A Chinese Corpus For Gender Bias Probing and Mitigation》,共包含32900个高质量标签的句子,是第一个用于性别偏见探测和缓解的句子级中文数据集,共包含3种任务:偏见检测、偏见分类和偏见缓解。
paper: https://arxiv.org/pdf/2301.00395.pdf
github: https://github.com/yizhilll/CORGI-PM
介绍
大规模语言模型(LMs)已经成为了现在自然语言处理的关键技术,但由于训练语料中常带有主观的性别偏见、歧视等,在大模型的使用过程中,它们时常会被放大,因此探测和缓解数据中的性别偏见变得越来越重要。
部分研究通过性别交换等自动标注方法,缓解性别偏见的语料库;也有一些人工标注的性别偏见语料库,但主要集中在单词层面或语法层面的偏见,或只关注与性别歧视相关的话题,并主要以英文为主。因此,该论文提出了第一个用于性别偏见探测和缓解的句子级中文语料库,采用一种自动方法(如图1所示,对含有性别偏见得分高的词的样本进行召回,然后根据其句子级性别偏见概率对样本进行重新排序和过滤),从现有的大规模中文语料库中构建可能存在性别偏见的句子集,再通过精心设计的标注方案,对候选数据集进行进一步的标注,构建可以用于性别偏见检测、分类和缓解三种任务的数据集。
数据构建
样本过滤
如图1所示,该研究通过单词级到句子级的两阶段过滤,从原始语料库中召回、排序和过滤待标注候选数据。对于词级别过滤,通过计算目标词与种子方向之间得分,构建一个高偏见分数的词表,并从原始语料库中匹配包含这些词语的句子,为初步候选集合。其中得分计算如下:
正值表示该词语更适合女性,负值表示该词语更适合男性,性别偏见得分绝对值越高,说明该词语的偏见程度越高。过滤得到的词汇绘制的词云如图5所示,对于句子级别过滤,计算句子的性别偏见得分,并根据获得性别偏见关键词进行分组,然后根据特定的全局阈值性别偏见得分和组内阈值排名选择待标注的最终句子集合。
标注规则
标注方案为标注人员对一个句子进行判断,判断是否存在性别偏见;如果存在,则需要给出偏见具体类型,并为了缓解性别偏见,还需要对有偏见的句子进行纠正,给出无偏见句子。为保证标注质量,6名标注人员均具有学士学位,并且男女比例相同。
「偏见类别」共包含3种:
AC:性别刻板的活动和职业选择;
DI:性别刻板的描述和概况;
ANB:表达性别刻板的态度、规范和信仰。
缓解性别偏见主要是在保留原始语义信息的同时,减轻所选句子的性别偏见,并要求标注者进行使句子的表达式多样化,主要修改规则如下:
用中性代词取代性别代词;
用语义定义相近的中性描述替换性别特定的形容词;
对不能直接减轻的句子,添加额外的解释进行中和。
标注过程分为两个阶段:第一阶段,各标注者进行标注,并要求不要输入不确定样本;第二阶段,标注者之间进行交叉标注。
语料分析
CORGI-PM数据统计如表1所示,共包含32.9k数据,并考虑数据分布,划分了训练集、验证集及测试集。如表2所示,发现偏见句子相较于无偏见句子来说,句子更长,包含词汇更少;但由于去偏句子需要在保持原意图语义不变、句子连贯、减轻偏见,因此去偏样本与原样本相比表达更长、更多样化。偏见数据格式样例:
{'train':{# 原始句子'ori_sentence': [sent_0,sent_1,...,], # 偏见类型'bias_labels': [[0 1 0],[0 1 0],[0 1 0],...,],# 人工去偏句子'edit_sentence': [edited_sent_0,edited_sent_1,...,],},'valid':{... # 与训练集一致},'test':{... # 与训练集一致}
}
无偏见数据格式样例:
{'train':{# 原始句子'text': [sent_0,sent_1,...,], },'valid':{... # 与训练集一致},'test':{... # 与训练集一致}
}
实验结果
针对性别偏见检测及分类任务,以Precision、Recall和F1作为评价指标,采用BERT、Electra和XLNet模型进行微调进行实验对比,并采用GPT-3 Curie模型进行zero-shot实验,结果如表3所示。针对性别缓解任务,采用GPT-3 Ada(350M)、Babbage(1.3B)和Curie(6.7B)进行微调, 并采用Davinci(175B)进行zero-shot实验,结果如表4所示。
总结
中文首个性别偏见探索和缓解数据集,开源不易,且用且珍惜。
发布招聘信息or进NLP群—>加入NLP交流群
CORGI-PM:首个中文性别偏见探索和缓解数据集相关推荐
- 首个中文多项选择阅读理解数据集:BERT最好成绩只有68%
2019-12-19 12:18:15 赖可 发自 亚龙湾移动凹非寺 量子位 报道 | 公众号 QbitAI 横扫一众基准测试的BERT等NLP模型,好像没那么强了. 因为它们遇到了一个中文数据集. ...
- 首个中文多项选择阅读理解数据集:BERT最好成绩只有68%,86%问题需要先验知识...
赖可 发自 亚龙湾移动凹非寺 量子位 报道 | 公众号 QbitAI 横扫一众基准测试的BERT等NLP模型,好像没那么强了. 因为它们遇到了一个中文数据集. 康奈尔大学留学生发布了第一个自由形式的中 ...
- 独家 | 改善AI性别偏见的4种方法
作者:Josh Feast 翻译:王子龙 校对:王琦 本文约2200字,建议阅读8分钟. 本文阐述导致AI偏见的原因并提出应用的解决方案. 图片来源:哈佛商业评论工作人员 / UNSPLASH 任何对 ...
- 性别歧义代词(GAP) 2019年 NLP 研讨会性别偏见问题共同任务--阅读笔记
Gendered Ambiguous Pronouns (GAP) Shared Task at the Gender Bias in NLP Workshop 2019 https://www.ac ...
- 陈丹琦带队全员女将发新论文!提出AI消除性别偏见新方法,适用于任何模型 | EMNLP 2022...
Pine 明敏 发自 凹非寺 量子位 | 公众号 QbitAI 陈丹琦新论文来了! 研究团队全员女将,这是她在普林斯顿的第一篇all-female author论文. 论文主题也和女性议题有关. 论文 ...
- 改善AI性别偏见的4种方法 | CSDN博文精选
加入「公开课」交流群,获取更多学习资料.课程及热招岗位等信息 作者 | Josh Feast 翻译 | 王子龙 校对 | 王琦 本文阐述导致AI偏见的原因并提出应用的解决方案. 任何对AI偏见的审查都 ...
- 【NLP】ACL2020 | 词向量性别偏见
作者 | Salesforce Research 编译 | NewBeeNLP ACL2020关于词嵌入性别偏见的蛮有意思的一项工作: 论文地址:https://arxiv.org/abs/2005 ...
- 性别有什么用_为啥不让男孩玩布娃娃?别让你的“性别偏见”,给孩子的人生设限...
在养育孩子的过程中,父母总是会犯许多错误,更是有一些错误会直接使孩子毁掉一生,而性别偏见正是很多家长都会去犯的错误,对男孩和女孩有着刻板印象,也正是因为这一点使孩子的潜力和天赋被压制. 前几天我带着孩 ...
- 输入框根据拼音首字母/中文字符联想补全
输入框根据拼音首字母/中文字符联想补全 背景 工具 实现 H5 MySQL 创建中文转拼音函数 创建拼音缓存表&添加索引 创建触发器(同步project到拼音缓存表中) 查询语句 背景 在H5 ...
最新文章
- 小程序 a标签_微信内循环生态:朋友圈标签引流视频号、小程序、搜一搜
- Streams那些事之概述与原理
- 个人计算机上常用的操作系统,个人计算机常用的输出设备 操作系统的发展史(3)...
- vb microsoft.xmlhttp 获取所有超链接_利用VBA批量自动生成表格超链接
- 将速度加快到自己的个人代码生成器中
- Java高级工程师必看系列,已拿到offer
- Facebook Graph API(2)--读取数据之picture
- aix如何查看日志策略_AIX系统日志学习笔记之一
- vue使用contenteditable 实现光标处插入自定义图片
- 高通抓取ramdump
- php 图片 变灰色,php[图片变灰]生成灰色图片代码
- Python实战:将头像变成动漫风
- Docker安装mysql:Error starting userland proxy: listen tcp4 0.0.0.0:3306: bind: address already in use
- stl文件 python_用Python从STL文件绘制2D图像
- vue学习笔记 DAY1 P1~P6
- 为什么湾区程序员买不起房?
- Arduino运行FreeRTOS操作系统
- 破解加密的PDF文件有什么方法?
- 基于Asterisk的VoIP开发指南——(1)实现基本呼叫功能
- 基于libVLC的视频播放器之二:使用VLC-Qt播放RTSP流
热门文章
- php thumbs.db,禁止thumbs.db自动生成的方法
- 苏州新导RFID医院固定资产管理系统,RFID固定资产管理应用行业
- commom fileupload结构
- MySQL SELECT查询语句练习1(初级篇)
- 二级C语言程序设计上机模拟考试,《上机考试模拟试题集——二级QBASIC语言程序设计》C语言-程序设计.pdf...
- 数据分享|函数型数据分析部分省市新冠疫情数据
- EasyCVR平台云存储技术的应用场景解析
- Linux小工具之axel 快速下载
- KingRan库配置京东账号
- 设计模式超级简单的解释