Word Embedding List|ACL 2020 词嵌入长文汇总及分类
ACL 2020 于 5 月 17 日放榜啦,在此祝贺、羡慕每一位论文被接收的朋友。以下汇总并尝试按主题分类了 37 篇与 word embedding 有关的长文,让我们一起看看今年词嵌入的研究又有哪些新进展。
关于作者:张正,坐标巴黎,上班NLP,下班词嵌入。
纵向分类
一千个人眼里有一千个分类方法。在此我从两个维度做分类:
涉及语言数量:单语言;跨(多)语言。
词嵌入类型:语境词嵌入(contextualized word embedding);传统词嵌入(上下文无关,如word2vec,fastText,GloVe等)两个子类。
当然还有一些文章目前找不到公开版本,我将其暂时分到“未分类”大类。等有更多信息时再修改。
横向标签
为了方便关于特定主题的搜索,每篇文章我也添加了#标签:
#monolingual
#cross-lingual
#contextualized
#unsupervised
#BERT
#bias
#word-sense
#distillation
#overview
#mid-resource
#rare-word
#domain-adaptation
单语言(monolingual)语境词嵌入(contextualized word embedding)
论文标题:A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
关键词:#monolingual #contextualized #mid-resource #cross-lingual
之所以加 cross-lingual 因为从 abstract 来看,作者在多个语种上进行了单语词嵌入训练,并最终和 multilingual BERT 做比较。
论文标题:Analysing Lexical Semantic Change with Contextualised Word Representations
关键词:#monolingual #contextualized #word-sense
论文链接:https://arxiv.org/abs/2004.14118
在语境词嵌入上做 clustering。
论文标题:Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics
关键词:#monolingual #contextualized
论文链接:https://arxiv.org/abs/2005.02991
Functional Distributional Semantics provides a linguistically interpretable framework for distributional semantics, by representing the meaning of a word as a function (a binary classifier), instead of a vector.
论文标题:BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance
关键词:#monolingual #contextualized #rare-word #BERT
论文链接:https://arxiv.org/abs/1910.07181
如何训练好罕见词。
论文标题:CamemBERT: a Tasty French Language Model
关键词:#monolingual #contextualized #BERT
论文链接:https://arxiv.org/abs/1911.03894
法国人的骄傲我向来理解不了。。。
论文标题:Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
关键词:#monolingual #contextualized #BERT #domain-adaptation
论文链接:https://arxiv.org/abs/2004.10964
论文标题:Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning
关键词:#monolingual #contextualized #BERT #unsupervised
论文链接:https://arxiv.org/abs/2004.08097
论文标题:FastBERT: a Self-distilling BERT with Adaptive Inference Time
关键词:#monolingual #contextualized #BERT #distillation
论文链接:https://arxiv.org/pdf/2004.02178.pdf
蒸馏肯定是热点,但我个人不是很懂,还得多学习。
论文标题:Improving Transformer Models by Reordering their Sublayers
关键词:#monolingual #contextualized
论文链接:https://arxiv.org/abs/1911.03864
这篇我不确定是否应该归到 word embedding 相关。但是当 Omer Levy 和 Noah A. Smith 联手研究模型内部的时候,看了是绝不会吃亏的。
论文标题:Interpreting Pretrained Contextualized Representations via Reductions to Static Embeddings
关键词:#monolingual #contextualized
虽然文章还没公开,但我猜的话是 cluster+word sense。
论文标题:nvestigating Word-Class Distributions in Word Vector Spaces
这篇也是文章还没出来,但我做跟上篇一样的猜测。
论文标题:MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices
关键词:#monolingual #contextualized #BERT #distillation
论文链接:https://arxiv.org/abs/2004.02984
有哪位好心人(非化学专业)可以给我讲下蒸馏。
论文标题:Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders
关键词:#monolingual #contextualized #BERT #word-sense
论文链接:https://arxiv.org/abs/2005.02590
已经不知道是第多少次看到 clsuter,word sense 了。
论文标题:schuBERT: Optimizing Elements of BERT
关键词:#monolingual #contextualized #BERT
论文链接:https://arxiv.org/abs/2005.06628
论文标题:SenseBERT: Driving Some Sense into BERT
关键词:#monolingual #contextualized #BERT #word-sense
论文链接:https://arxiv.org/abs/1908.05646
cluster, word sense。。。
论文标题:Spying on your neighbors: Fine-grained probing of contextual embeddings for information about surrounding words
关键词:#monolingual #contextualized #BERT
论文链接:https://arxiv.org/abs/2005.01810
乍一看标题,我还以为是某国总统的新推。
单语言(monolingual)传统词嵌入(word embedding)
论文标题:Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
关键词:#monolingual #Bias
论文链接:https://arxiv.org/abs/2005.00965
基于 GloVe 训练的 embedding。
论文标题:Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
关键词:#monolingual #bias #BERT
论文链接:https://arxiv.org/abs/2005.00699
既有 fastText 也有 mBERT。
论文标题:Multidirectional Associative Optimization of Function-Specific Word Representations
关键词:#monolingual
论文链接:https://arxiv.org/abs/2005.05264
这篇比较独特,不好归类。如有错误请指正。
We present a neural framework for learning associations between interrelated groups of words such as the ones found in Subject-Verb-Object (SVO) structures.
论文标题:What are the Goals of Distributional Semantics?
关键词:#monolingual
论文链接:https://arxiv.org/abs/2005.02982
从语言学的角度来做分析。
论文标题:When do Word Embeddings Accurately Reflect Surveys on our Beliefs About People?
关键词:#monolingual #bias
论文链接:https://arxiv.org/abs/2004.12043
fastText, word2vec, GloVe,传统词嵌入三板斧。
跨语言(cross-lingual) 语境词嵌入(contextualized word embedding)
论文标题:CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multiple Languages
关键词:#cross-lingual #contextualized #BERT #word-sense
论文链接:https://www.researchgate.net/publication/341151563_CluBERT_A_Cluster-Based_Approach_for_Learning_Sense_Distributions_in_Multiple_Languages
用 cluster 解决 word sense 问题,列表里的第二篇,上一篇是单语言。
论文标题:Emerging Cross-lingual Structure in Pretrained Language Models
关键词:#cross-lingual #contextualized #BERT
论文链接:https://arxiv.org/abs/1911.01464
mBERT,XLM。FAIR 的 Alexis Conneau 在跨语言词嵌入上的研究值得一看。
论文标题:Finding Universal Grammatical Relations in Multilingual BERT
关键词:#cross-lingual #contextualized #BERT
论文链接:https://arxiv.org/pdf/2005.04511.pdf
列表里的第三次 cluster。对了,这篇文章的通讯作者是 Manning 教授,必读。
论文标题:On the Cross-lingual Transferability of Monolingual Representations
关键词:#cross-lingual #contextualized #BERT #unsupervised
论文链接:https://arxiv.org/abs/1910.11856
一二作 Mikel Artetxe 和 Sebastian Ruder,请配合他们的另一篇搭配阅读,效果更佳。
论文标题:Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT
关键词:#cross-lingual #contextualized #BERT
论文链接:https://arxiv.org/abs/2004.14786
论文标题:Similarity Analysis of Contextual Word Representation Models
关键词:#cross-lingual #contextualized
论文链接:https://arxiv.org/abs/2005.01172
个人认为当前急需的工作,因为目前用于评价跨语言语境嵌入的资源并不多。
论文标题:Unsupervised Cross-lingual Representation Learning at Scale
关键词:#cross-lingual #contextualized #unsupervised
论文链接:https://arxiv.org/abs/1911.02116
XLM-R, Alexis Conneau
论文标题:Unsupervised Domain Clusters in Pretrained Language Models
关键词:#cross-lingual #contextualized #BERT #word-sense
论文链接:https://arxiv.org/abs/2004.02105
cluster, word sense, 通讯作者 Yoav Goldberg,必读必读。
论文标题:XtremeDistil: Multi-stage Distillation for Massive Multilingual Models
关键词:#cross-lingual #contextualized #BERT #distillation
论文链接:https://arxiv.org/abs/2004.05686
跨语言(cross-lingual) 传统词嵌入(word embedding)
论文标题:A Call for More Rigor in Unsupervised Cross-lingual Learning
关键词:#cross-lingual #unsupervised #overview
论文链接:https://arxiv.org/abs/2004.14958
一二作 Mikel Artetxe 和 Sebastian Ruder 都是总结归纳能力很强的人,他们的综述文章值得一看。
论文标题:Revisiting the Context Window for Cross-lingual Word Embeddings
关键词:#cross-lingual #unsupervised
论文链接:https://arxiv.org/abs/2004.10813
2020 年读到 word2vec,就当是一场梦,醒了之后依旧很感动。。。
论文标题:Should All Cross-Lingual Embeddings Speak English?
关键词:#cross-lingual
论文链接:https://arxiv.org/abs/1911.03058
打响跨语言训练反英语 c 位第一枪。
未分类
[1] A Comprehensive Analysis of Preprocessing for Word Representation Learning in Affective Tasks
[2] A Graph-based Coarse-to-fine Method for Unsupervised Bilingual Lexicon Induction
Adaptive Compression of Word Embeddings
[3] Connecting Embeddings for Knowledge Graph Entity Typing
整理后的第一感觉
语境词嵌入远多于传统词嵌入;
关于传统词嵌入的研究(word2vec,fastText,GloVe 等),主要围绕在 bias、语言学等方向;
无论单语、跨语言,语境词嵌入空间中,clustering 将语义带入 word sense 级别的研究令人期待,相关工作入选很多。但如何对其质量做评价的研究还不多;
蒸馏技术也有几篇文章,但我在这方面懂得不多,不多做评价,求大佬指导。
另外,由于时间精力有限,难免出现错误、遗漏,如发现,请留言指正。我会尽快修改。
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
Word Embedding List|ACL 2020 词嵌入长文汇总及分类相关推荐
- 机器学习-21-Unsupervised Learning-05-Word Embedding(无监督学习之词嵌入)
文章目录 Unsupervised Learning: Word Embedding Introduction 句子的表示 1-of-N Encoding Bag of Words (BOW) Wor ...
- fastText中的子词嵌入和高效文本分类:简单高效性能好
fastText 由Facebook主持的研究.该研究分为两个项目:子词嵌入和高效文本分类.有学者认为fastText只包含高效文本分类,主张它才是该研究的重中之重.不过,在Facebook相关研究的 ...
- 基于LSTM和词嵌入的tweet文本分类
作者|Emmanuella Anggi 编译|VK 来源|Towards Data Science 在这篇文章中,我将详细介绍如何使用fastText和GloVe作单词嵌入到LSTM模型上进行文本分类 ...
- BERT实战(1):使用DistilBERT作为词嵌入进行文本情感分类,与其它词向量(FastText,Word2vec,Glove)进行对比
这次根据一篇教程Jay Alammar: A Visual Guide to Using BERT for the First Time学习下如何在Pytorch框架下使用BERT. 主要参考了中文翻 ...
- 2020-11-11 吴恩达DL学习-C5 序列模型-W2 自然语言处理与词嵌入(2.9 情绪分类-使用RNN模型,考虑词序)
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-sta ...
- Word Embedding News|词嵌入新鲜事:六月刊:GPT-3来了
这里是 WEN(Word Embedding News)|词嵌入新鲜事. 作为起步,它将基于 Sebastian Ruder NLP News 的每月筛选,聚焦词嵌入领域.对涉及内容在本人阅读后的基础 ...
- Word Embedding News | 词嵌入新鲜事:COVID-19特刊
这里是 WEN(Word Embedding News)|词嵌入新鲜事. 作为起步,它将基于 Sebastian Ruder NLP News 的每月筛选,聚焦词嵌入领域.对涉及内容在个人阅读后的基础 ...
- NLP(词向量、word2vec和word embedding)
最近在做一些文本处理相关的任务,虽然对于相关知识有所了解,而且根据相关开源代码也可以完成相应任务:但是具有有些细节,尤其是细节之间的相互关系,感觉有些模糊而似懂非懂,所以找到相关知识整理介绍,分享如下 ...
- Word2Vec+ Word Embedding
word2vec和word embedding有什么区别? 2018年06月18日 22:53:30 阿华Go 阅读数:1625 作者:Scofield 链接:https://www.zhihu.co ...
最新文章
- 三十一、MySQL 及 SQL 注入
- asp.net面试的代码题目
- python paramiko使用_使用python的paramiko模块实现ssh与scp功能
- mysql binlog 回退_MYSQL Binglog分析利器:binlog2sql使用详解
- [redis] 分布式 Redis 的 CRUD 实现
- 我的python学习笔记全集_记录我的Python学习笔记
- Mac设置多屏幕的时候程序坞的位置
- STM32F103C8T6用官方bootloader实现IAP升级操作方法
- sqlalchemy_外键连接表
- springmvc json串的null值替换为空值
- 今天完成了一个真正意义上完整的gridview数据表操作
- PHP推流地址获取图片
- SSH 有关密钥和私钥 的那些事儿
- pip install transformers
- 对工程与科学的认知以及对思维方式的理解
- python制作四川话并生成证书,可打包为exe
- mongodb 使用$lookup做多表关联处理
- TMS320F28335与10位数模转换器TLC5615的SPI通讯问题2(数模转换芯片TLC5615 原理篇)
- js中判断对象是否为空
- 熱銷商品查詢php,ecshop首页调用指定商品分类下推荐热销最新商品
热门文章
- python 3.5opencv 环境搭建_Python3.5+openCv进行人脸识别的环境搭建(Windows下)
- PyCharm的高效使用技巧
- java泛型bean copy list
- Setting property 'source' to 'org.eclipse.jst.jee.server:hczm' did not find a matching property
- iOS - app 进行安全加固
- Luogu T9376 区间GCD
- p:commandButton vs h:commandButton
- 15个相当不错的jQuery技巧
- WCF事务编程[中篇]
- java 静态变量 存储_Java学习笔记9---类静态成员变量的存储位置及JVM的内存划分...