论文阅读【CVPR-2022】 A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation

2024-05-09 01:29:30

论文阅读【CVPR-2022】 A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation

studyai.com

搜索论文: A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation

摘要(Abstract)

This paper proposes a simple transfer learning baseline for sign language translation. Existing sign language datasets (e.g. PHOENIX-2014T, CSL-Daily) contain only about 10K-20K pairs of sign videos, gloss annotations and texts, which are an order of magnitude smaller than typical parallel data for training spoken language translation models. Data is thus a bottleneck for training effective sign language translation models. To mitigate this problem, we propose to progressively pretrain the model from general_x0002_domain datasets that include a large amount of external supervision to within-domain datasets.

本文提出了一个用于手语翻译的简单的迁移学习基准。现有的手语数据集（如PHOENIX-2014T、CSL Daily）仅包含约10K-20K手语视频、注释和文本的样本对，比用于训练口语翻译模型的典型并行数据小一个数量级。因此，数据成了训练有效手语翻译模型的瓶颈。为了缓解这个问题，我们建议把模型从包含大量外部监督的通用领域域数据集逐步预训练到领域内数据集。

Concretely, we pretrain the sign-to-gloss visual network on the general domain of human actions and the within-domain of a sign-to-gloss dataset, and pretrain the gloss-to-text translation network on the general domain of a multilingual corpus and the within-domain of a gloss-to-text corpus. The joint model is fine-tuned with an additional module named the visual_x0002_language mapper that connects the two networks. This simple baseline surpasses the previous state-of-the-art results on two sign language translation benchmarks, demonstrating the effectiveness of transfer learning. With its simplicity and strong performance, this approach can serve as a solid baseline for future research.

具体来说，我们在人类行为的通用域以及sign-to-gloss数据集的特定域内预训练sign-to-gloss视觉网络，在多语言语料库的一般域和gloss-to-text语料库的特定域内预训练gloss-to-text的翻译网络。联合模型通过一个名为visual_x0002_language mapper的附加模块进行了微调，该模块连接两个网络。这个简单的基准超过了之前两个手语翻译基准的最新结果，证明了迁移学习的有效性。由于其简单性和强大的性能，这种方法可以作为未来研究的坚实基础。

论文阅读【CVPR-2022】 A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation相关推荐

#今日论文推荐#CVPR 2022 | 道高一尺，魔高一丈，ConvNet还是ViT？
#今日论文推荐#CVPR 2022 | 道高一尺,魔高一丈,ConvNet还是ViT? 作者在 Introduction 部分里,从 ConvNet 的前世今生开始讲起,并且在第二段就表明了一个观点: ...
#今日论文推荐#CVPR 2022 | 只需要一组预训练参数，所有恶劣天气一次解决
#今日论文推荐#CVPR 2022 | 只需要一组预训练参数,所有恶劣天气一次解决最近CVPR'22的文章已经放出来了,发现了这篇能够一次解决所有恶劣天气的算法,相当有趣以及新颖,因此整理下来分享给 ...
【论文阅读】定量评估服务模式__Quantitative Assessment of Service Pattern: Framework, Language, and Metrics
[论文阅读]定量评估服务模式__Quantitative Assessment of Service Pattern: Framework, Language, and Metrics 文章目录 [论 ...
论文阅读（一）：Hierarchical LSTM for Sign Language Translation
Abstract SLT (Sign Language Translation) 手语翻译 CTC (Connectionist temporal classification) 连接主义时间分类 l ...
飞步科技三篇论文入选CVPR 2022
关注公众号,发现CV技术之美本文转载自飞步无人驾驶在即将举行的计算机视觉国际顶级会议CVPR 2022中,飞步科技被录用了三篇高水平论文,涉及车道线检测.3D目标检测.少样本分类等与无人驾驶密切相 ...
天大本科生论文入选CVPR 2022，实现深度学习长尾分类新SOTA
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达丰色发自凹非寺量子位 | 公众号 QbitAI 本科生搞科研到 ...
京东探索研究院 34 篇论文入选 CVPR 2022
关注公众号,发现CV技术之美国际计算机视觉与模式识别会议(CVPR)是IEEE一年一度的学术性会议,是计算机视觉和模式识别领域的顶级会议.根据最新2021谷歌学术指标,CVPR在所有学术期刊和会议影 ...
强化学习泛化性综述论文阅读 A SURVEY OF GENERALISATION IN DEEP REINFORCEMENT LEARNING
强化学习泛化性综述论文阅读摘要一.介绍二.相关工作:强化学习子领域的survey 三.强化学习中的泛化的形式 3.1 监督学习中泛化性 3.2 强化学习泛化性背景 3.3 上下文马尔可夫决策过 ...
【ICML 2020对比学习论文解读】SimCLR: A Simple Framework for Contrastive Learning of Visual Representations
一.写在前面对比学习(Contrastive Learning) 对比学习是一种自监督学习方法,在无标签数据集上仍可以学习到较好的表征. 对比学习的主要思想就是相似的样本的向量距离要近,不相似的要远 ...

最新文章

热门文章