点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—> CV 微信技术交流群

为检索没有文本描述的短视频寻求解法。

转载自：AI科技评论    作者 | 施方圆   编辑 | 陈彩娴

2022年10月12日晚，ACM Multimedia 大会官方公布了最佳论文等多个奖项。本届 ACM Multimedia 于 2022 年 10 月 10 日至 14 日在葡萄牙里斯本举办，会议共接收到了 3009 篇投稿论文，共有13篇论文入选高分论文。

有 5 篇论文入围最佳论文奖（Best Paper Award）候选，其中，哈工大聂礼强教授团队获得了备受瞩目的最佳论文奖。

聂礼强教授的获奖论文题目为“Search-oriented Micro-video Captioning”，由哈尔滨工业大学（深圳）、山东大学、快手、华为和佛罗伦萨大学联合团队共同完成。

论文地址：https://dl.acm.org/doi/pdf/10.1145/3503161.3548180

该获奖论文介绍如下：

这篇论文主要研究如何为“没有视频描述的短视频”自动生成一个文本描述的问题。为了给38%没有文字描述的短视频自动生成有一个抽象的文本描述，研究者通过建立相关模型，从针对用户搜索需求的角度自动生成文本去描述一个短视频，以满足用户搜索视频的多样化需求。

以往工作致力于以内容为导向的视频字幕工作，从创作者的角度生成相关的句子来描述给定视频的视觉内容。这项工作的目标则是以搜索为导向，通过用户的角度生成关键词来总结给定的视频。除了相关性，多样性对于从不同角度描述用户的搜索意向也至关重要。

为此，研究团队设计了一个大规模多模态的预训练网络，通过五个任务来加强下游视频表征，该网络在研究团队收集的 1100 万个微视频上训练。之后，研究团队提出了一种基于流的多样化字幕模型，以根据用户的搜索需求生成不同的字幕。该模型通过重建损失在先验和后验之间的KL分歧进行优化。通过构建由 69 万个<查询，短视频>对组成的黄金数据集合，作者验证了他们的模型，实验结果也证明了其优越性。

据了解，这项工作所研发的“短视频摘要生成算法”在快手得到落地，已平稳运行半年，每日处理约 3 千万个短视频。

聂礼强教授，西安交通大学本科，新加坡国立大学博士、博士后，两次入选国际级人才计划，目前为哈尔滨工业大学（深圳）计算机学院二级教授、博导和执行院长，兼任 IEEE TKDE 、 ACM ToMM 等汇刊编委，以及 ACM MM 2018-2022 领域主席，2019 年获得 ACM 中国新星奖， 2020 年获得达摩院青橙奖， 2020 年入选《麻省理工科技评论》“ 35 岁以下科技创新 35 人”中国区榜单。

ACM International Conference on Multimedia （简称 ACM MM， ACM 国际多媒体会议）自 1993 年成立，是多媒体领域国际首屈一指的盛会，旨在展示多媒体领域的科学科学成就和创新工业产品，也是中国计算机学会推荐的该领域唯一的 A 类国际学术会议。

参考链接：

1.https://2022.acmmm.org/

2.https://2022.acmmm.org/best-paper-award/

点击进入—> CV 微信技术交流群

CVPR 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看