【附PPT下载】2021腾讯广告算法大赛 ACM MM Grand Challenge录用论文揭晓

腾讯广告算法大赛由腾讯广告主办，从2017年起每年举办一届。来自真实业务的广告数据，兼顾难度和商业价值的赛题设计，以及丰厚的奖金奖励，是腾讯广告算法大赛的主要特点。

2021腾讯广告算法大赛紧跟潮流，围绕当下火热的视频内容，把视频内容的深度理解设计为今年的比赛赛题。2021腾讯广告算法大赛还与计算机科学国际顶会、首屈一指的多媒体会议ACM MM（ACM Multimedia）合作，成为ACM MM 2021 Grand Challenge的竞赛内容，启发全世界的研究人员和机器学习实践者们关注这个命题以及探索方向。

2021腾讯广告算法大赛从四月启动，经过两个多月的激烈比赛，已经在7月7日分别得出了2个赛道的入围排行榜。参赛者们可以根据自己的模型提交总结论文，接收的论文将被收录在ACM MM 2021会议论文集中。在8月16日的2021腾讯广告算法大赛“决赛十强答辩&获奖名单公布”直播中，赛道一、二已分别根据比赛成绩、答辩/总结报道、提交的代码，综合评估出了最终排名，大赛组委会也正式公布了获奖名单，并揭晓了论文评审和接收结果。

赛道一 “视频广告秒级语义解析” 前三获奖名单

冠军：“GZ”战队，奖金100,000美元

亚军：“swg-lhl”战队，奖金20,000美元

季军：“FVL”战队，奖金10,000美元

赛道二 “多模态视频广告标签” 前三获奖名单

冠军：“挥霍的人生”战队，奖金10,000美元

亚军：“闷声大发财⊙-⊙ ”战队，奖金5,000美元

季军：“trans_video”战队，奖金2,500美元

值得说明的是，比赛排名在ACM MM Grand Challenge录用论文环节并不是最关键的因素，是否在论文中展现了算法的创新性，以及对问题本质的洞察深度显得更为重要。腾讯广告算法大赛组委会也将邀请录用论文作者亲临 2021 ACM Multimedia 的大会现场，和各路技术大神进行交流。接下来，就来看看两个赛道被录用的论文及评审意见吧！

赛道一 “视频广告秒级语义解析” 接收论文：

01 《Multi-modal Representation Learning for Video Advertisement Content Structuring》

队伍名称：

GZ（来自中山大学）

论文审稿意见：

这篇论文为腾讯广告算法大赛的赛道一设计了一个多阶段的解决方案，其中重点运用多模态的表征学习学到了更好的特征。作者们为每个模态都设计了结构类似Inception模型的强大的特征提取器，可以提取多种不同尺度的信息。作者们接下来使用了跨模态Transformer模型，把文本特征隐式地融合到视频/音频特征中。在视频分割阶段，他们在BMN损失的公式中额外增加了一项来减少较长的段造成的惩罚，还在后处理中使用了一些镜头检测方法，提升了局部边缘检测的效果。在分类阶段，他们增加了重新排序和分支检索，以进一步改进分类结果，这种做法在这个领域非常新颖。

在具体方法之外，这篇论文的表达清晰、连贯，对关键组件的描述也易于理解和重现。如果某些组件能再做一些对照实验就会更锦上添花。

02 《A Multimodal Framework for Video Ads Understanding》

队伍名称：

FVL（来自复旦大学）

论文审稿意见：

这篇论文为算法大赛的赛道一设计了一个多阶段的解决方案，其中重点运用多模态的表征学习学到了更好的特征。作者们为每个模态都设计了强大的特征提取器，而且通过开源的OC-OCR库提取了视频中的文字信息。他们使用了多种新颖的设计，在没有使用音频模态的条件下也拿到了领先的排名。在分割阶段运用了一个TCN模型，其中使用了修改过的真实标签以及焦距损失（难度损失）。在分类阶段，他们提出了一个NeXt-SoftDBoF模型，取代了竞赛提供的baseline中的原始模型。

这篇论文中最让人钦佩的部分是使用了局部-全局注意力机制，把场景级别的文字识别结果和视频级别的BERT模型的自动语音识别结果联系到一起，挖掘出更多有用的信息。这篇论文的表达清晰、连贯，对关键组件的描述也易于理解和重现。关键组件的对照实验十分有说服力。

赛道二 “多模态视频广告标签” 接收论文：

01 《A Solution to Multi-modal Ads Video Tagging Challenge》

队伍名称：

Lingeo（来自上海交大）

闷声大发财⊙-⊙（来自阿里巴巴）

论文审稿意见：

这篇论文为算法大赛的赛道二设计了一个多模态的分类框架。作者们探索了不同的模型设计方案并尝试改进用到的组件的效果，包括预训练特征（CSN模型）、损失函数（BCE损失、焦距损失、不对称损失）、半监督学习以及跨类别相关性学习。

不过，论文中的表述还需要仔细审校，后面列举了一些笔误。除此之外，3.3节中负面遮罩带来了更好的表现的原因以及只使用负面监督的原因都应当解释得更深入一点。

笔误：

1，1.1节中的"ACR"应为"ASR"；

2，1.2节中"learn"应为"learning"；

3，4.2.1小节中的"reftab:featex"的写法不妥当；

4，4.2.2节中写"%"但不写数字的做法不妥当。

02 《Rethinking The Impacts Of Overfitting And Feature Quality On Small-scale Video Classification》

队伍名称：

Pytorch永远滴神！（来自四所北美高校）

论文审稿意见：

作者们提出了三种不同的技术方法来提高特征的质量，还提出了另外三种方法减轻过拟合。

改进特征的方法：

1，把原始模型中的视觉特征替换为EfficientNet特征，因为EfficientNet是在ImageNet上预训练的，所以保留了最后一层和倒数第二层的特征；

2，在音频和视频分支的最上层添加一个TSM模型来建模两者间的时序关系；

3，把自动语音识别得到的文本的嵌入和视频帧的信息联系到一起。这些设计的目的是让视觉特征可以获得额外的文本信息，并且帮助NeXtVLAD模型在后续阶段聚合信息。

减轻过拟合的方法：

1，在文本分支中增加随机的截断和随机的断开连接（dropout），并且在视觉和音频分支中增加随机噪声；

2，调节断开连接；

3，移除图像分支。

这篇论文呈现了清晰的改进想法和措施，不过其中一些措施在介绍时遗漏了重要的文献引用或者没有做深入的研究。

比如：

1，3.2.1小节中对于“保留最后一层和倒数第二层的特征”的理由的引用；

2，3.2.3小节中没有深入研究文本流和图像流之间的对齐，之后的对照实验也没有显示出这种方法的效果。

相信选手们在提交论文的过程中，都对自己的比赛方案作出了系统性的总结和思考，不论是否被ACM MM录用，都是一次珍贵而富有收获的经历。

8月16日，2021腾讯广告算法大赛圆满收官。让我们共同期待下一年，全新升级的腾讯广告算法大赛，继续带我们探索无限可能的算法世界。2022年，算法争锋等你来战！

决赛直播回看

点击【阅读原文】或在后台回复关键词“2021直播”

干货放送：20份决赛PPT

微信公众号后台回复关键词“2021PPT”，可获取两个赛道共20份PPT

【附PPT下载】2021腾讯广告算法大赛 ACM MM Grand Challenge录用论文揭晓相关推荐

算法“视”界杯来袭，2021腾讯广告算法大赛正式开启
全球算法达人注意啦,2021腾讯广告算法大赛强势归来!本届赛事围绕视频广告议题开设两大赛道--"视频广告秒级语义解析"与"多模态视频广告标签"两大前沿命题等你来 ...
腾讯广告算法大赛官方“开挂”，为你直播赛题解析！
2021腾讯广告算法大赛已经进入了火热的初赛阶段,算法达人们正在赛场上不断突破自己的技术极限.值得一提的是,本届赛事围绕视频广告开设了两大赛道--"视频广告秒级语义解析"与&q ...
腾讯广告算法大赛“视”界杯专题直播来袭，腾讯专家助你赛场争先！
自4月30日初赛开赛以来,各大技术达人纷纷在2021腾讯广告算法大赛上尽情展示着自己的技术实力.为了帮助选手们更好的理解赛事赛题,掌握TI-ONE和Angel操作平台的使用方法,提高选手们的参赛体 ...
官宣，重量级评委团强势加持腾讯广告算法大赛
自2017年开展首届以来,腾讯广告算法大赛已成功举办四届,随着赛事影响力的不断扩大,腾讯广告算法大赛已然成为全球最受瞩目的算法竞技赛事之一.2021年腾讯广告算法大赛更是与国际顶会ACM Mult ...
【万字详解+PPT下载】腾讯广告实时策略数据框架建设
2021年5月20日-22日,由IT168旗下ITPUB企业社区平台主办的第十三届中国系统架构师大会(SACC2021)在云端进行了网络直播,腾讯广告实时策略数据框架技术负责人林立伟受邀出席,并在大会 ...
一文梳理2019年腾讯广告算法大赛冠军方案
‍‍ 点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容作为从本次比赛共157队伍中脱颖而出的冠军方案,评分达到87.9683,从数据清 ...
备战2020腾讯广告算法大赛：（2017-2019比赛开源和数据等）
期待与各位在2020腾讯社交广告算法大赛中相遇!!! 写在前面最近突然之间讨论腾讯广告赛的人多了不少,也有很多人加我微信讨论19年腾讯赛的方案和代码.虽然2020腾讯赛还未开始,不过大家已经提前进入 ...
腾讯广告算法大赛冠军、Kaggle Grandmaster倾力打造，涵盖Kaggle、阿里天池等赛题...
随着互联网时代的到来,以及计算机硬件性能的提升,人工智能在近几年可以说是得到了爆发式的增长.互联网时代带来了大量的信息,这些信息是名副其实的大数据.另外,性能极佳的硬件也使得计算机的计算能力大大增强, ...
【国庆赠书】腾讯广告算法大赛冠军、Kaggle Grandmaster倾力打造，涵盖Kaggle、阿里天池等赛题...
值此国庆佳节,给大家赠书啦!祝大家假期快乐!(可在文末参与活动) 随着互联网时代的到来,以及计算机硬件性能的提升,人工智能在近几年可以说是得到了爆发式的增长.互联网时代带来了大量的信息,这些信息是名副 ...

【附PPT下载】2021腾讯广告算法大赛 ACM MM Grand Challenge录用论文揭晓

【附PPT下载】2021腾讯广告算法大赛 ACM MM Grand Challenge录用论文揭晓相关推荐

最新文章

热门文章