Ai challenger 2017 image caption小结

参加了今年的ai challenger 的image caption比赛，最终很幸运的获得了第二名。这里小结一下。

Pytorch 越来越火了。。前五名有三个pytorch，两个tensorflow 关于哪个learning frame work 更适合图像nlp相关的应用我觉得用户用脚投票使用程度说明一切。tensorflow有强大的slim图像库支持，比如nasnet是slim最先支持的毕竟google原版。。。,但是在很多比赛灵活性上对比pytorch还有欠缺比如强化学习feed dict较慢，比如多模型ensemble实现per step的投票 beam search比较麻烦，甚至一个in graph的beam seach相比pytorch也麻烦很多，希望后面eagar模式能改变这些。
最佳的caption利器当属微软的

Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

来自 <https://arxiv.org/abs/1707.07998>

前五名除了我都使用这个思路，因此我的单模型效果(show attention and tell)是相对最差的。。
强化学习非常重要

其它选手都通过强化学习大大提升了客观分数，但是仅仅优化类似cider这样的指标的强化学习可能会使得句子通顺度弱于优化cross entropy可能是这个原因我的主观流畅性打分最高..
调参和一些细节是至关重要的
1. 比如lstm hidden size 大部分选手可能使用512 而有的选手使用2048 提升明显
我使用light gbm 进行gbdt rerank将cider提升了10个点这里为 lightgbm 打call， 194w样本，52维特征，5交叉验证regression 只需要3分钟， lamdamart 排序只需要5分钟。
这里开源了本次比赛我使用的代码，欢迎contribute，特别是对强化学习的修改及改进，很遗憾尽管我也实现了scst但是没有达到理想效果几个指标只有meteor提升，其余指标下降。

https://github.com/chenghuige/image-caption-ai-challenger2017

Ai challenger 2017 image caption小结相关推荐

Ai Challenger Caption图像中文描述（2017）
数据来自2017 AI Challenger,数据集对给定的每一张图片有五句话的中文描述.数据集包含30万张图片,150万句中文描述.训练集:210,000 张,验证集:30,000 张,测试集 A: ...
11月11日截止报名！快来参加顶尖极客汇聚的“AI Challenger 全球AI挑战赛”！
"AI Challenger 全球AI挑战赛"是面向全球人工智能人才的开源数据集和编程竞赛平台,致力于满足AI人才成长对高质量丰富数据集的需求,推动AI在科研与商业领域结合来解决真 ...
AI Challenger全球AI挑战赛开幕，300万奖金池，还可能获李开复投资
铜灵发自维景国际量子位出品 | 公众号 QbitAI 一场面向全球AI人才的编程竞赛开始了. 投入千万元资金,新增10余个高质量数据集,由企业.大学和政府联合推动,2018 AI Challe ...
AI资讯--2017年资讯汇总
九个研究方向持续学习(Continual learning) 可解读的决策(Explainable decisions) 安全飞地(Secure enclaves) 对抗学习(Adversarial ...
AI Challenger 全球AI挑战赛[二]——场景分类比赛介绍（附数据集和基线模型百度云下载）
AI Challenger 全球AI挑战赛场景分类 [ 2017 ] 传送门目的:寻找一个更鲁棒的场景分类模型,解决图片的角度.尺度.和光照的多样性问题一.比赛介绍赛题简介移动互 ...
AI Challenger 全球AI挑战赛[一]——大赛介绍
AI Challenger 全球AI挑战赛 AI Challenger 全球AI挑战赛"是面向全球人工智能(AI)人才的开放数据集和编程竞赛平台,致力于打造大型.全面的科研数据集与世界级竞赛 ...
AI Challenger全球AI挑战赛落幕，获奖团队分享200万奖金
历时130天,全球AI届最大盛事之一,来自65个国家上万名选手参与的首届 "AI Challenger全球AI挑战赛"昨天落下帷幕. 大赛主办方创新工场.搜狗.今日头条在北京举行总 ...
AI Challenger开赛，千万量级数据开放，AI高手将上演巅峰对决
2017年9月4日,"AI challenger全球AI挑战赛"正式开赛,来自世界各地的AI高手,将展开为期三个多月的比拼,获胜团队将分享总额超过200万人民币的奖金,并获得顶级A ...
AI Challenger 全球AI挑战赛今日宣布
创新工场.搜狗.今日头条联合发起打造中国最大AI科研数据集与世界级竞赛平台北京时间2017年8月14日,创新工场.搜狗和今日头条联合宣布三方携手发起"AIChallenger全球AI挑战 ...

Ai challenger 2017 image caption小结

Ai challenger 2017 image caption小结相关推荐

最新文章

热门文章