【前排选手分享】初赛尾声将至，大神带你最后一搏！
2020腾讯广告算法大赛初赛还有一周就要正式结束，临近初赛尾声，我们邀请到了排行榜前排选手jinzhen，给大家分享一下他的大赛征程。
大家好，我是□□□团队的队长jinzhen，来自厦门大学。我们队伍由我和我师弟两人组成，目前暂列排行榜第二。
去年是我第一次参加腾讯广告算法大赛，当时也非常幸运，取得了决赛第五名的成绩。通过那场竞赛我认识了很多大佬，在和他们同场竞技、交流探讨的过程中，也大有收获，学习积攒了许多实战经验。我觉得腾讯广告算法大赛的一大特点是，官方群里选手交流十分活跃，想法和经验可以得到碰撞，产生新的化学反应，不管是新人还是老玩家都能从中获得新的体验、感悟和成长。因此，即便今年没法像去年那样花那么多精力来准备这个比赛，在看到开赛的消息后我依然果断报名参赛。尽管可能最后只是陪跑，但我认为能够在比赛交流中有所收获和进步也非常有意义。
我们的基本方案和其他队伍大体一致，都是word2vec+序列模型。然后我们现在是五输入concat 之后输入给模型，训练目标是使用20分类的方式。
关于具体的建模方案之前已经有很多大佬分享过，在这里我只想简单地说一说自己关于transformer和模型融合的实战经验。
1
Transformer
01
transformer相比于lstm比较难调，个人建议先将transformer学习率设成lstm的五分之一左右，而后再进一步细调。
02
如何在transformer中考虑序列信息也是比较值得探索的，position embedding不一定是最佳的方式。
03
如果你的模型结构是transformer输出后做max pooling再接dense的话，别忘了在max pooling前处理一下被mask掉的位置的输出。
2
模型融合
前段时间我们单模一直都上不去，提交的都是十个使用全量数据的模型融合的结果（单模大佬请ddw）。由于模型数量已经比较多，所以我们开始寻找方法增强模型的差异性。目前在模型融合方面所做的尝试已经给我们带来了一些千分位上的提升。这里的差异性并不只是多种不同的模型结构，对于同一个模型结构，除了随机数种子不同之外，还可以有很多种方式增加差异性，比如可以从输入序列和模型参数入手。建议大家多思考多尝试，在不断优化的过程中，获得更加理想的结果。
最后祝各位选手取得好成绩！
初赛即将落下帷幕，在这最后一周的时间里，希望各位选手能够继续保持出色的状态，取得更多的创新和突破。加油吧，优秀的竞赛人，为你们最初的目标不断前进！
扫码加入大赛官方QQ群
或搜索群号：1094257162
和小伙伴一起解锁更多内容
点击如下链接，紧跟大赛进程
2020腾讯广告算法大赛
【前排选手分享】初赛尾声将至，大神带你最后一搏！相关推荐
- 王者荣耀10连胜，竟然也有人不相信，猎游大神带菜鸡玩家10连胜
如果一局游戏一个人头都没有获得,甚至还送了几个人头,这一局游戏大家知道是胜利还是惨败?很多玩家都知道遇到这样的情况,这一局游戏基本上没有戏了,那就是根本不可能有太大的可能再获得胜利,特别是前期敌人顺风 ...
- 大神带飞————动态生成对象并绑定父对象（绑定对象池中的对象使自己成为对象池中对象的子对象）
实例代码 using System.Collections; using System.Collections.Generic; using UnityEngine; public class New ...
- SQL优化大神带你写有趣的SQL(6) SELF JOIN的应用
大家好,我是知数堂SQL 优化班老师 网名:骑龟的兔子 今天给大家,带来的是 SELF JOIN的应用 下面是,表结构和,INSERT 语句脚本. create table t0718 (idx in ...
- 老猪带你玩转自定义控件三——sai大神带我实现ios 8 时间滚轮控件
ios 8 的时间滚轮控件实现了扁平化,带来很好用户体验,android没有现成控件,小弟不才,数学与算法知识不过关,顾十分苦恼,幸好在github上找到sai大神实现代码,甚为欣喜,顾把学习这个控件 ...
- 【AI好书】KK大神带你俯瞰未来20-30年的科技发展趋势，早阅读一天就让你在互联网时代先行一步！...
欢迎大家来到<AI 好书>专栏,这一个专栏是面向所有对人工智能技术感兴趣的朋友.在这个专栏里,我们会给大家推荐人工智能相关的优质书籍. 今天要推荐的书籍是<必然--阐述12种必然的科 ...
- 大神带你轻松入门次世代游戏建模
很多人都想要进入游戏这个行业,学习建模是不可避免的.建模可以说是一个进入行业的敲门砖,学会建模才能立足于行业,当然光会建模在公司同样也是无法生存的.对于初学者而言,如何快速入门呢? 学习的方法多种多样 ...
- 求大神带我研究MX模式邮件发送
本人了解邮件已经几个月了,因为没有接触过学习过这个行业,想找一个师傅有偿学习.有兴趣的大神可以联系我!深谢!
- 2017年------阿里大神带你详解Dubbo架构设计
一.Dubbo的设计角色 (1)系统角色 Provider: 暴露服务的服务提供方. Consumer: 调用远程服务的服务消费方. Registry: 服务注册与发现的注册中心.1 Monitor: ...
- c++new时赋初值_C高级编程精髓之内存管理，万千码农踩过的雷，大神带你走出雷区...
今天给大家分享C高级编程精华片之内存管理--欢迎跟大家一起踏进内存这片雷区,然后带大家从雷区中走出来! 程序员们经常编写内存管理程序,往往提心吊胆.如果不想触雷,唯一的解决办法就是发现所有潜伏的地雷并 ...
最新文章
- Centos进入紧急模式解决方法
- python you-get下载视频-使用python库之you-get下载视频
- 如何获取握手包_白话详解TCP的三次握手到底做了些什么
- 在iOS中求数组元素中最大数与最小数
- word List 42
- emui消息推送服务器,别再抱怨，这次或许真的轮到你了，EMUI9.1推送进度再次更新...
- 分享到facebook没有封面图_拾柒自制书封面图分享~
- C++持有Object-C对象时容易内存泄露
- oracle中以dba_、user_、v$_、all_、session_、index_开头
- 必知必会 | WebView 的一切都在这儿
- 同时买票是怎么实现的_搞笑GIF段子：这位挖掘机司机真的很牛，同时胆子很大...
- 常见GIS工具软件介绍
- stm8s103头文件
- oracle怎么将数据删除文件,oracle删除数据文件
- C# 用itextsharp把Html转PDF
- [kubernetes]-kubernetes+nfs创建高可用mysql
- opencv学习(三十六)图像直方图均衡化equalizeHist
- 第二类曲线、曲面积分计算公式
- 被忽视的开发安全问题
- 程序逸的Java项目之旅-图书管理系统之环境的搭建