【Aminer论文精读训练营】Aminer第二期推荐的5篇论文

AMiner论文推荐：
1.概述
作者提出一种鲁棒性无监督的学习算法，利用词嵌入的结构相似性，采用迭代计算的方式提高词嵌入的质量,使得不同语言中的同样的词，它的词嵌入相似性也高。
2. 研究内容
作者的提出的无监督方法，具体如下：X和Z分别表示两种语言中独立训练好的词嵌入矩阵。行代表一个词的词向量，列代表词向量的第几维。这里中Xj和Zj之间、Xi和Zi之间并没有任何的对应关系。这时就需要一个转换矩阵W(x)、W(z)来使XW(x)和ZW(z)在同一个向量空间。同时用一个标记矩阵D，Dij = 1时代表目标语言中的第j个单词对应着源语言中第i个单词的翻译。实现过程，pipeline,首先:预处理-词嵌入的标准化；完全无监督的初始化；自学习（从基本25个单词对开始学习高质量的双语嵌入映射，迭代进行知道收敛）；对称着再加权，对W(x)和W(z)re-weighting.
4.论文情况
来源： ACL 2018 引用215
论文名称：
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings.
中文题目直译：
一种用于完全无监督跨语言词嵌入鲁棒性的自学习算法
论文链接：
https://www.aminer.cn/pub/5b3d98cc17c44a510f801ea5/a-robust-self-learning-method-for-fully-unsupervised-cross-lingual-mappings-of
第一次：）欧耶 2021/08/23

以往监督学习方法研究：某种语言比如en，假设它的词向量空间是A. 另一种语言比如cn，假设它构成的词向量空间是B，前人的方法根据大规模语料，可以用双语的词典是学习到一个线性变换映射关系（有多种方法：最小二乘法、正交化方法等），把空间A、B映射到同一个共享空间中。后来有半监督学习方法、无监督学习方法。

AMiner论文推荐：
1.概述
作者提出一种跨语言的通用句子编码方式，希望在low-resource的语言从联合语言中学到通用的知识
2. 研究内容
该论文主要讲述fb18年提出的跨语言零样本迁移的LASER模型，在93中语言公开的平行语料上，联合训练学习到一个编码器（双向LSTM+BPE词典）得到一个句子向量编码，然后交给解码器。
编码过程说明：输入的词进过bpe编码（byte pair encoder字节对编码器，在所有语言的训练集联合训练得到的bpe词典），经过n层的LSTM, 然后再经过maxpooler得到句子向量。在这个句子向量上施加一个线性变换拿去初始化解码器。
解码器的工作：解码器需要被告知生成哪种语言，然后采用自回归的方式，同时获取一个在每个时间步都连接到输入和句子嵌入上的语言标识嵌入。
模型结构：为了能够在多语言上得到一个好的编码器，作者分别用用1-5层的BiLSTM,每层512个实验，这样算下来左右得到句子的表示向量做拼接后是1024维,而编码器只用一层维度是2048的LSTM.
论文情况：
来源：TACL 2019 引用数286
论文名称：
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
中文题目直译：
零样本跨语言迁移和超越的大规模多语言句子嵌入
论文链接：
https://www.aminer.cn/pub/5db92b4f47c8f766462234d6/massively-multilingual-sentence-embeddings-for-zero-shot-cross-lingual-transfer-and-beyond
第二次：）欧耶 2021/08/23

AMiner论文推荐：
1.概述
由于BERT的结构不合适做语义相似度研究比较以及聚类这样的无监督任务。作者提出Sentence-BERT（SBERT）用孪生网络（或者Triplet网络，可以理解孪生网络的进阶版）得到句子向量的语义，进而可以通过求cosine比较句子嵌入的相似度。
2. 研究内容
BERT的做法将任意两个句子投到网络中，算出序列中每个词的编码。作者指出这样算1w个句子，求任意两个序列的相似度，将会是O(n^2)级别（可以想成每个握手问题，1w的人与其他人握手的次数）。
因此作者提出SBERT模型(是文本相似度性领域2019SOTA模型)，使用孪生(Siamese)和三级(triplet)网络结构来获得语义上有意义的句子embedding，以此获得它定长的sentence embedding，使用余弦相似度或Manhatten/Euclidean距离等进行比较找到语义相似的句子（因为语义相似的句子在向量空间中的表示就会比较接近或者说他们的分布大致相同）。
SBERT是一种双塔（或者Tripplet）模型,左右两边分别是一个经过预训练的BERT网络。作者在BERT的输入上加了一层pooling operation得到固定长度的句子向量，并且使用在三种池化方法分别是：用BERT的CLS token、bert的所有的输出向量求平均（mean-strategy）、对bert的所有的输出向量求各个维度最大值代表句子向量，最终实验结果mean策略最好。
论文情况：
来源：EMNLP 2019 引用数584
论文名称：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
中文题目直译：Sentennce-BERT: 用孪生BERT-网络实现句子嵌入
论文链接：
https://www.aminer.cn/pub/5db9297d47c8f766461f7bb9/sentence-bert-sentence-embeddings-using-siamese-bert-networks
第三次：）欧耶 2021/08/25

实验说明：
作者在无监督STS2012-2016数据集上进行试验，然后通过斯皮尔曼等级相关系数来衡量模型的优劣。结果显示直接采用BERT的输出结果，效果挺差的,甚至不如直接计算GloVe嵌入向量的平均值效果好；采用本文的孪生网络在NLI数据集上fine-tuning后的模型效果明显要好很多，SBERT和SRoBERTa差异不大。

AMiner论文推荐：
1.概述
本篇论文是超分重建方面的18年的sota模型，该论文特色是引入上、下映射单元，将单元计算误差重新反馈到网络中在进行采样，从而提高生成图片的效果。
2. 研究内容
作者提出Iterative up and downsampling方法，使用交替连接的上采样和下采样阶段获取不同深度的大量高清的图像特征。方法其实真简单，比起Transfomer而言，作者从提取高质量特征想法入手，在每个映射单元中，拿上映射单元举例，喂给该单元一张低清图片lr0, 然后通过反卷积运算生成高清的hr0，在将hr0卷积生成lr1, 然后计算lr0与lr1的误差经过反卷积运算得到hr1,最后将hr0与hr1做一个叠加得到改上映射单元的输出hr。可以看到其实作者思路很简单，但是得到效果非常不错。
实验过程：作者在基础班DBPN网络提出了S(T=2)、M（T=4）、L(T=6)三个版本，T表示上映射单元的个数，而下映射单元就是（T-1）。实验结果表明DBPN最低配版S版生成的图片效果相比其他模型都要好不少（Set5数据集上做8x放大 4X放大模型参数和psnr的结果分析）。此外作者还参考DenseNet网络，提出Dense-DBPN，相比DBPN而言主要改进多了将前些阶段生成的hr做一个concat运算，然后在用1x1的卷积算子提取特征，这样做的效果也非常不错，虽然模型参数变多，但是从结果来看生成的图片psnr和ssim都比普通版本DBPN网络要好。
论文情况：
来源：CVPR2018 引用数340
论文名称：Deep Back-Projection Networks For Super-Resolution
中文题目直译：用于超分重建的深度反向映射网络
论文链接：
https://www.aminer.cn/pub/5c8d57d74895d9cbc653a9e9/deep-back-projection-networks-for-super-resolution
第四次：）欧耶 2021/08/26

AMiner论文推荐：
1.概述
该篇文章提出SimCSE，就是用对比学习得到一个好的句子嵌入，在无监督和有监督的语义相似度任务上是最新的SOTA模型，无监督的SimCSE模型在STS基准任务上击败19年的SBERT等有监督的模型模型
2. 研究内容
作者引入对比学习思路，将相似的目标（成为正样本）更接近，不相似的目标（负样本）就让编码后的较远。对比学习思路最开始在CV中应用，给一个图像x，做数据增强得到的x’,但不管怎么样数据增强人类对图像语义的理解。而对于天生就是离散的文本而言就难构造与x相近的x’。关于评价编码后的语义表示空间的指标，可以根据L(align)和L(uniform)，希望这两个目标函数尽可能低
在前面SBERT论文推荐也介绍过，直接用BERT句向量做无监督语义相似度计算效果会很差而且时间复杂度也很大。文章用到的对比学习的目标之一就是学习到分布均匀的向量表示，因此可以借助对比学习间接达到规整表示空间的效果，这又回到了构建如何正样本（让相似的目标编码后更接近，反之亦然），而本文的创新点之一正是无监督条件下的正样本构建。在无监督的SimCSE中，为了构造正样本，作者提出dropout mask机制生成x’, 通过用不同的droupout masks z,z’给编码器得到正样本，作者还对比这种生成正样本方式和其他数据增强的区别，并对为什么论文提出的方法work进行详细分析。在有监督的语义相似度任务上，SimCSE也很有效。此外作者还借助SentEval在STS12-16、STSB、SICK-R数据集上进行评估SimCSE模型性能，论文非常详细友好介绍了。
该文提出的
论文情况：
论文名称：SimCSE: Simple Contrastive Learning of Sentence Embeddings
中文题目直译：SimCSE:句子嵌入的简单的对比学习
论文链接：
https://www.aminer.cn/pub/6080029491e011772654f794/simcse-simple-contrastive-learning-of-sentence-embeddings
第五次：）欧耶 2021/08/27

【Aminer论文精读训练营】Aminer第二期推荐的5篇论文相关推荐

计算机专业评副高需要发论文吗,高级职称评审一般都需要几篇论文呢
高级职称评审一般都需要几篇论文呢? 职称评审中不仅要对你专业上的认知,对你工作上的经验以及工作能力,绩效上都是有一定的要求,有的行业还需要对学习能力以及外语计算机方面的信息都有一定的要求,最常见的就是 ...
全球计算机视觉顶会CVPR 2019论文出炉：腾讯优图25篇论文入选
全球计算机视觉顶级会议 IEEE CVPR 2019(Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议) 即将于6月在美国长滩召开 ...
闵帆老师论文写作课心得体会——如何写好一篇论文
目录前言一.学术论文二.Latex排版及数学公式三.关于英文四.题目--论文的第一印象五.摘要及关键词六.引言--完整的故事七.文献综述要重视八.伪代码--论文的核心之一九.实验- ...
计算机科学与技术论文智慧之美,信息科学与技术学院5篇论文被计算机多媒体领域国际顶级会议录用...
近日,国际顶级会议ACM Multimedia2018公布录用结果,我校信息科学与技术学院王菡子教授等3个课题组共有5篇论文入选,在国内高校名列前茅.ACM Multimedia是计算机学科多媒体领域 ...
论文速递：AAAI 2023 | 优图16篇论文速览，含多标签分类、姿态估计、目标检测、HOI、小样本学习等研究方向
近日,AAAI 2023(Association for the Advancement of Artificial Intelligence)国际先进人工智能协会公布了录用结果,本届会议共有8777 ...
linux系统论文题目大全_【最新推荐】关于linux论文-范文模板 (20页)
本文部分内容来自网络整理,本司不为其真实性负责,如有异议或侵权请及时联系,本司将立即删除! == 本文为 word 格式,下载后可方便编辑和修改! == 关于 linux 论文篇一: Linux 论 ...
全球计算机视觉顶会CVPR 2020论文出炉：腾讯优图17篇论文入选
全球计算机视觉顶级会议CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议 ...
AMiner学术搜索服务全新上线 | “一键”帮你搞定论文综述，带你研读AI相关Topic百篇经典论文
面对海量的论文文献,无论你是学术新人还是行业大神,你是否想过"谁能帮我找到那篇我最需要的论文呢":想要深入了解学习某个领域知识,你曾否想过"谁能告诉我到底该看哪些论文&q ...
论文溯源树AMiner
来自 DBLP.ArXiv.STM 等多家学术出版机构和平台的数据表明,在过去 20 年间,计算机科学.物理学.统计学等研究领域的出版物总量都有大幅增加.像 CVPR.AAAI 等有关人工智能等新兴领 ...

【Aminer论文精读训练营】Aminer第二期推荐的5篇论文

【Aminer论文精读训练营】Aminer第二期推荐的5篇论文相关推荐

最新文章

热门文章