论文阅读：Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning
论文题目与链接：
[2002.10198] Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning (arxiv.org)
论文简要脉络：
任务定义：
- 代码摘要 (code summarization)：给定代码片段，生成简要描述。
- 代码检索（code retrieval）：给定描述，检索相关的代码片段。
当前存在问题：
以上两个任务都是旨在建立自然语言描述和代码语言自建的关系，因此近期很多研究中会将上述任务进行联合以提升各自的性能。然而现有的融合工作通常单独训练或者串行两个任务，没有有效利用两个任务内在的联系，因而两个任务的性能很难得到均衡提升。
归结起来两个主要问题：
1. 代码检索和代码摘要模型性能难以得到平衡。
2. 模型融合过程过于复杂，难以训练收敛。
方案：
针对这两个任务，本文通过引入一个额外的代码生成任务提出一个端对端的方法融合方案。特别地，本文通过对偶学习（dual learning）显式挖掘了代码摘要和代码生成之间的概率关联关系，利用两个编码器进行 代码摘要 和 代码生成，通过多任务学习的架构训练代码检索模型。
效果：
在SQL 和Python的公开数据集上，代码检索性能超过了 SOTA 性能，在代码摘要任务上也获得了优异的 BLEU score 评分。
本文贡献：
- 提出一种简洁有效的端对端模型，通过引入代码生成任务辅助代码摘要和代码检索任务的融合。通过对偶学习和多任务学习挖掘任务之间的内在关联。
- 实验证明了本算法的有效性，代码检索性能超过了 SOTA 性能，在代码摘要任务上也获得了优异的 BLEU score 评分。
- 通过消融实验和案例分析 证明了引入代码生成和对偶学习可以在语音的层面更好地表示源代码和文本语言。
论文阅读：Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning相关推荐
- ICSE NIER 2017 论文阅读 - Production-Driven Patch Generation
前言 这个是前天的文章,昨天.今天的文章都还没看的.很僵硬. 决定先补上这一篇,然后再读两篇SSBSE的文章. 简介 本文旨在阅读 ICSE NIER 2017 论文- Production-Driv ...
- 论文阅读：Retrieval-augmented Generation across Heterogeneous Knowledge
跨异构知识的检索增强生成 NAACL 2022 论文链接 摘要 检索增强生成(RAG)方法越来越受到NLP社区的关注,并在许多NLP下游任务上取得了最先进的性能.与传统的预训练生成模型相比,RAG方法 ...
- 【论文阅读】Video Generation from Single Semantic Label Map-CVPR2019
题目: Video Generation from Single Semantic Label Map 原文:https://arxiv.org/pdf/1903.04480v1.pdf pytorc ...
- 论文阅读Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
利用段落检索和生成模型进行开放域问答 ACL 2021 论文地址 摘要: 开放域问答的生成模型已被证明具有竞争力,无需借助外部知识.虽然这种方法很有前途,但它需要使用具有数十亿个参数的模型,这些参数的 ...
- 文本生成论文阅读Enhancing Topic-to-Essay Generation with External Commonsense Knowledge
读读论文吧,明天是周一也是新的一天,加油奥利给. 文章目录 前言 一.主要贡献 二.模型框架 三.新知 总结 前言 TEG任务是指给定 topic 集合,生成主题相关.段落集的文本.过去的任务忽略了常 ...
- 【论文阅读】PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization
PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization 谷歌 ICML 2020 论文地址:h ...
- 论文阅读笔记：《Neural3D: Light-weight Neural Portrait Scanning via Context-aware Correspondence Learning》
Neural3D: Light-weight Neural Portrait Scanning via Context-aware Correspondence Learning 论文动机 方法 整体 ...
- 【论文阅读】【基于方面的情感分析】Deep Context- and Relation-Aware Learning for Aspect-based Sentiment Analysis
文章目录 Deep Context- and Relation-Aware Learning for Aspect-based Sentiment Analysis 一.该论文关注的是解决ABSA问题 ...
- 【深度学习与智能反射面：论文阅读】：Enabling Large Intelligent Surfaces with Compressive Sensing and Deep Learning
文章目录 前言 中心思想 具体实现 A.==COMPRESSIVE SENSING== BASED 智能反射面设计 B. ==DEEP LEARNING BASED== LIS I智能反射面设计 实现 ...
最新文章
- 《2017年IT优先级调查》：重点考虑云、网络、端点安全
- 教你用Python合成人像，足不出户游遍全球！
- 2020ICPC沈阳 - United in Stormwind(推公式+FWT+SOSdp)
- python学习笔记(四):函数
- MFC中动态创建控件及添加消息响应的方法实例
- Android开发之ApiCloud模块开发的注意事项
- C语言（CED）编写一个程序，求两个字符之间的加减运算。
- ajax获取java session的值_jquery 怎么获取 ajax中的session值
- linux查看spare盘的数量,戴尔Dell服务器使用OMSA软件omreport查看硬件信息|磁盘阵列健康监控...
- 基于QT和DCMTK的Dicom 图像浏览器---收尾
- python隐藏窗口_python中隐藏Console窗口
- GNSS《GPS测量原理及应用》复习题集
- 这样的跳槽理由，会遭HR嫌弃！
- 11.23Bom完以及pc端端offset
- 灯具如何利用网络打造品牌品牌实现销售增长？
- 致敬平凡程序员妙优车助力1024程序员节
- 下载chrome浏览器和火狐浏览器各种版本地址，mark~~~
- file too small (length=0) file
- ef 数据迁移mysql_EF6 Codefirst+MySql 数据库迁移
- AniamtexActionScript3.0游戏复刻记录