自然语言处理中的伪数据 by哈工大教授车万翔
（报告回放https://event.baai.ac.cn/activities/350）
“知识”（广义）的来源：广义的“知识”包括狭义的知识、算法以及数据。
要实现自然语言处理能力的提升，必须有三个广义知识的支撑，即必须有新知识、新算法或新数据的加入。
“伪数据”（Pseudo Data）
伪数据是一种弱标注的训练数据。伪数据虽然有标签，但标签的构造不曾面向所研究的任务进行人工标注，且这种标签不精确，而是样本的近似答案（伪）。获取伪数据主要有三种方法：移植、采集和制造。
1. 移植伪数据
可以分为跨语言、跨领域和跨任务三种类型。
2. 采集伪数据
数据“天然”存在目标任务的标注结果时，可以应用伪数据的采集方法。此时样本就是真实的样本，但获得的标签与真实标签近似。采集可以用来处理如命名实体、词义向量、信息抽取、情感分析等任务。
3. 制造伪数据（数据增广）
即对样本进行编辑操作形成伪数据，编辑的方式主要包括增加、删除、修改。在这种情况下，样本近似于真实样本，但标签与真实标签一致。
数据增广（Data Augmentation，DA）
通过修改已有数据或从已有数据合成新数据，用于模型训练。数据增广发端于图像处理，在图像处理中，可以对原始图像进行翻转、旋转、平移、缩放等操作，而图像标签的类别不变。
然而上述操作无法直接应用于自然语言处理。所以，需要针对其进行深入研究。我们将自然语言处理常用的数据增广方法分为三种：复述、加噪和采样。
1. 基于复述（Paraphrasing）的增广方法
此时增广数据保持原有语义，常用的方法包括1）基于同义词词典；2）基于词嵌入；3）基于语言模型；4）基于规则；5）基于回译；6）基于生成等。
2. 基于加噪（Noising）的增广方法
即加入离散或连续噪声的增广方法。下图总结了各种加噪的方法：
3. 基于采样（Sampling）的增广方法
三种数据增广方法对比较：
增广数据的实际应用策略有很多，例如对多种增广方法进行叠加，对增广数据质量进行控制（过滤、加权等），高质量增广数据直接与原训练数据混合，较低质量增广数据用作预训练数据等等。
自然语言处理中的伪数据 by哈工大教授车万翔相关推荐
- 哈工大教授车万翔：自然语言处理中的伪数据
导语:自然语言处理被誉为"人工智能皇冠上的明珠".对语言的理解需要广义的"知识",即狭义知识,算法和数据的约束.目前的预训练+微调的范式充分利用了数据类&quo ...
- 哈工大车万翔：ChatGPT时代，NLPer 的危与机
note ChatGPT的诞生,源于研究者「暴力美学」的手段. 如果大胆预测,ChatGPT能火几年,我猜可能是2到3年的时间,到2025年大概又要更新换代了. 工业界相较于学术界拥有巨大优势.这种「 ...
- 哈工大刘挺：自然语言处理中的可解释性问题！
"知其然,亦知其所以然"是现代计算机科学家针对神经网络可解释性问题追逐努力的方向和梦想.针对自然语言处理中的可解释性问题,哈尔滨工业大学刘挺教授在2022北京智源大会报告中做了详尽 ...
- 哈工大刘挺：自然语言处理中的可解释性问题
"知其然,亦知其所以然"是现代计算机科学家针对神经网络可解释性问题追逐努力的方向和梦想.针对自然语言处理中的可解释性问题,哈尔滨工业大学刘挺教授在近期的报告中做了详尽的解读.首先介 ...
- 复旦大学黄萱菁教授：自然语言处理中的表示学习
AI TIME欢迎每一位AI爱好者的加入! 比尔·盖茨曾说:"语言理解是人工智能皇冠上的明珠."在语音交互的AI时代,自然语言处理(NLP)发挥着不可替代的作用.深度学习的出现与发 ...
- AI：2020年6月21日北京智源大会演讲分享之15:15-15:40黄萱菁教授《自然语言处理中的表示学习》
AI:2020年6月21日北京智源大会演讲分享之15:15-15:40黄萱菁教授<自然语言处理中的表示学习> 导读:首先感谢北京智源大会进行主题演讲的各领域顶级教授,博主受益匪浅,此文章为 ...
- AI之NLP：2020年6月21日北京智源大会演讲分享之15:15-15:40黄萱菁教授《自然语言处理中的表示学习》
AI之NLP:2020年6月21日北京智源大会演讲分享之15:15-15:40黄萱菁教授<自然语言处理中的表示学习> 导读:首先感谢北京智源大会进行主题演讲的各领域顶级教授,博主受益匪浅, ...
- 复旦大学黄萱菁：自然语言处理中的表示学习
不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...
- 黄萱菁：自然语言处理中的可理解分析
与深度学习所面临的困难相似,目前,大规模应用的神经网络模型同样让自然语言处理领域的研究结果难以解释.模型的性能和可解释性仿佛是天生的敌人,统计结果表明,其性能愈佳,结构就越发复杂,越发难以理解. 在诸 ...
- 自然语言处理中的预训练模型 —— 邱锡鹏老师的演讲记录
目录 1.自然语言表示学习 1.1 什么是自然语言处理(NLP) 1.2 NLP的基础:语言表示 1.3 自然语言处理任务 1.3.1 序列到类别 1.3.2 同步的序列到序列 1.3.3 异步的序列 ...
最新文章
- 软银机器人Pepper上岗必胜客，顾客可通过机器人预订披萨
- 透过浏览器看HTTP缓存（转）
- CRC原理及其逆向分析方法
- java工资高还是php_java和php哪个工资高
- grub安装的 三种安装方式
- Perl 正则表达式 html,使用正则表达式验证表单中的HTML字段使用perl
- shell 中的运算
- 搭建AD域环境时出现错误,未能为域创建GPO 出现扩展错误解决办法
- 微软补丁星期二修复已遭利用的 Defender 0day
- POJ 1182 食物链（带权并查集）
- i7处理器好吗_i5和i7区别有多大,性能差距大吗？i59400F和i79700F的区别对比
- gpgga格式读取MATLAB,gpgga数据格式
- JS生成二维码，以下介绍3种方法
- android 平板root,安卓平板电脑怎么root 安卓平板一键root方法
- mc服务器文件夹改皮肤,我的世界皮肤放在哪个文件夹位置及更换方法解析
- python%是什么意思_%在Python中是什么意思？
- 从微软CEO纳德拉身上学习如何拯救一个企业
- Tensorflow系列——Saver的用法
- 图像增强（空间域）——灰度变换
- 我的新版edge插件推荐！！！