赛道二周冠分享：石头哥有些心里话要说一说

4月30日，2021腾讯广告算法大赛初赛已经正式拉开帷幕。2021腾讯广告算法大赛由腾讯广告主办，腾讯云AI、腾讯大数据、腾讯招聘、腾讯高校合作以及英伟达联合主办。TI-ONE与英伟达共同支持AI算法平台，同时与腾讯大数据Angel全栈机器学习平台共同提供算法资源支持。

与此同时，本届赛事与计算机国际学术顶会ACM Multimedia强强联合，围绕视频广告开设的两大赛道，已成功入选2021年ACM MM grand challenge，国际影响力进一步提升。

从2020年开始，腾讯广告算法大赛也面向腾讯员工开启内部赛道，邀请公司内部的技术大拿前来一决高下。为助力选手更好参与赛事，腾讯广告算法大赛特邀前排选手进行上分思路分享。本次我们邀请到的是赛道二周冠军，来自腾讯的“石头哥”来给我们分享一下他的做题思路。

作者简介

大家好，我是石头哥，我18年硕士毕业就加入腾讯，一直从事视频理解相关的工作，希望借这次比赛，可以跟大家一块交流并学习视频理解相关的技术和有趣的idea。

框架概览

我采用的是tensorflow框架，为了支持模型的快速迭代，我重构了baseline框架代码，并做了几点优化：

1、采用tfrecord的方式进行数据的读取 (提前将视频帧特征、音频特征、文本特征(ASR和OCR原始文本)序列化写入tfrecord中）

2、标题模型将Bert替换为TextCNN (前期迭代模型，建议优先选轻量级，如TextCNN or Bi-LSTM,等后续稳定再改为较重的模型，如BERT)

3、探究了几种扰动的方式，提高模型的泛化能力

4、探究了几种不同的学习率方式

5、模型框架沿用nextVlad帧间聚合模型+ Se-Gata多模态特征融合方式 + HMC

6、帧和音频特征：音频帧和视频帧，均匀分N段（Padding到300帧感觉有点冗余，因为视频平均时长为几十秒）。

得利于tfrecord序列化的优势，当前我的模型在p40,迭代4500个视频，一个epoch，仅需要0.7分钟左右，简直飞一般的体验～

经验小结

当前初赛，我是抽周末和下班时间迭代的模型，前前后后跑了100次+的实验。上述列的几点优化我觉得是正向收益的，所以share给大家尝试，仍有大部分我觉得可以优化的点，仅供大家参考：

【特征抽取模块】

1、视频帧和音频：github开源的向量化模型均可(动作识别相关的paper很多)，此处不过多赘述，条件允许的话可以多尝试不同的backbone。

2、文本特征（ASR、OCR）：这块可以用bert模型提前抽好文本embedding；也可以后续加入模型进行end2end学习，毕竟文本模型相比帧和音频更轻量化。

【帧间聚合模块】

1、netvlad or nextvlad

2、transformer

【多模态特征融合】

1、Se-Gate

2、各种Attention

【输出层】

1、多级MLP

2、HMC（Hierarchical Multi-label Classification）

3、MOE（Mixture-Of-Experts）

【End2End的方式】

建议应该尝试一下，毕竟训练样本不多。

【实验的几点小结】

1、迭代模型时，记得固定好随机种子，不然效果对比不太直观。

2、训练集GAP和验证集GAP相差10～20个百分点；初步观察模型有点过拟合，泛化性不理想。

3、一个有趣的现象：多个模态（音频、视频、文本信息）最终收敛时并非达到每个模态的最佳：（拆解过单个模态最佳的参数），这个希望大家可以有新的idea。

最后，期待大家都能有个好成绩～同时能够分享各自的idea，让讨论的氛围飞一飞～

看完周冠军的分享，大家是否也对比赛更有信心了呢？在5月10日的腾讯广告算法大赛“视”界杯直播周的分享上，腾讯高级算法研究员芦清林、熊江丰也已经对视频广告、标签体系、数据分布等比赛数据情况进行详细介绍，同时分享“多模态视频标签”、“视频场景分割”等相关研究领域的干货内容。可在公众号后台回复“直播”获取PPT。

大赛报名截止时间为2021年6月4日，期待你的参与，欢迎报名赛事！

赛道二周冠分享：石头哥有些心里话要说一说相关推荐

SOLO参赛，赛道二周冠军“达尔文”分享上分秘诀
6月16日,2021腾讯广告算法大赛复赛已经正式拉开帷幕.本届赛事共有上千家高校和企事业单位的4335人报名.不仅如此,此次赛事还与计算机国际学术顶会ACM Multimedia强强联合.围绕视频广告 ...
赛道一双周冠军分享：我不是TFboy，所以新写了baseline
4月30日,2021腾讯广告算法大赛初赛已经正式拉开帷幕.2021腾讯广告算法大赛由腾讯广告主办,腾讯云AI.腾讯大数据.腾讯招聘.腾讯高校合作以及英伟达联合主办.TI-ONE与英伟达共同支持AI算法 ...
ECCV 2020 | 首届GigaVision挑战赛揭榜，双赛道冠军技术干货分享
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货来源:DeepBlueAI 编辑:白峰近日,全球计算机视觉顶会ECCV2020落下帷幕,各个 ...
java获取当前日期和时间的二种方法分享
有两种方法: 方法一:用java.util.Date类来实现,并结合java.text.DateFormat类来实现时间的格式化,看下面代码: import java.util.*; import j ...
《信息检索》第10周周二课程分享及 11周周二分享安排
一:调课通知第10周周五上午实验室召开会议,很抱歉对课程时间进行调整. 1121-1122班:11周周二第一大节主409 1123-1124班:11周周二第二大节主413 请学委通知班级同学 ...
【华为昇腾社区、鹏城实验室】中国软件开源创新大赛·赛道二：任务挑战赛（模型王者挑战赛黄金赛段）
中国软件开源创新大赛·赛道二:任务挑战赛(模型王者挑战赛黄金赛段) [大赛简介] 人工智能作为一种通用目的技术,已经具备进入所有业务主流程的能力,人们的生产与生活必将发生巨大的改变.为了方便开发者们感 ...
左耳听风第四十二周
左耳听风第四十二周每周完成一个ARTS: 每周至少做一个 leetcode 的算法题.阅读并点评至少一篇英文技术文章.学习至少一个技术技巧.分享一篇有观点和思考的技术文章.(也就是 Algorit ...
左耳听风第二十二周
左耳听风第二十二周每周完成一个ARTS: 每周至少做一个 leetcode 的算法题.阅读并点评至少一篇英文技术文章.学习至少一个技术技巧.分享一篇有观点和思考的技术文章.(也就是 Algorit ...
主题：成都市华西附二院妈妈分享建卡，产检详细过程、费用以及医院详细汇总
http://www.babytree.com/chengdu/topic_983419 主题:成都市华西附二院妈妈分享建卡,产检详细过程.费用以及医院详细汇总一.成都市华西附二院挂号: 1.产科的 ...

赛道二周冠分享：石头哥有些心里话要说一说

赛道二周冠分享：石头哥有些心里话要说一说相关推荐

最新文章

热门文章