阅读小结：NIC模型

阅读小结：Show and Tell: A Neural Image Caption Generator

立了人生第二个flag，每周论文，一周至少一篇阅读小结。

人与人的根本区别在于自律能力。

论文阅读遵循彭明辉教授的指导。研一的主要论文阅读目的为解决问题（2A）（2B），即在这个领域最常被引述的方法有哪些？这些方法可以分成哪几个主要派别？

作者：O. Vinyals, A. Toshev, S. Bengio and D. Erhan
题目：Show and tell: A neural image caption generator
出处：2015，CVPR

What：

1、提出一个生成模型，这个模型可以生成描述图片的自然语句。

2、图片（image）输入CNN，输出再输入生成语言网络RNN，最后得到一个完整的图片描述语句。

3、LSTM
LSTM在ttt时刻有两个输入：①当前输入xtx_{t}xt；②反馈回的mt−1m_{t-1}mt−1。
在t−1t-1t−1时刻的输出mt−1m_{t-1}mt−1通过三个门反馈给网络。

4、MODEL
该模型包括encoder-decoder两个部分。其中encoder使用CNN提取特征，CNN可以使用VGGNet、GoogleNet等网络；decoder使用LSTM网络生成句子。

decoder（如图）第一步，输入为经过卷积神经网络提取的图像特征；其后的输入为每个单词的向量表达。对于每个单词首先通过one-hot向量表示，在通过词嵌入模型，变成和图像特征相同维度的向量。
【p.s.】词嵌入模型是NLP中语言模型与表征学习技术的统称。概念上它是指把一个维度为所有词的数量的高维空间，嵌入到一个维数低很多的连续向量空间，每个单词或词组被映射为实数域上的向量。

How：
1、BLEU-1、BLEU-4、METEOR、CIDE有很高。

改进之后的NICv2指标更高

end

阅读小结：NIC模型相关推荐

阅读小结：MSR:From Captions to Visual Concepts and Back
阅读小结:MSR:From Captions to Visual Concepts and Back What How 人与人的根本区别在于自律能力. 作者:H. Fang et al. 题目:Fro ...
【趋势】中国移动阅读市场AMC模型+实力矩阵+趋势预测
①易观分析:2014年中国移动阅读市场AMC模型主流厂商尝试全版权运营新模式探索期(2003-2005年) 第一阶段以电信运营商中国移动的阅读业务发展为代表.随着移动梦网看小说.手机报诞生,以及大 ...
菜鸟笔记-DuReader阅读理解基线模型代码阅读笔记（八）—— 模型训练-训练
系列目录: 菜鸟笔记-DuReader阅读理解基线模型代码阅读笔记(一)--数据菜鸟笔记-DuReader阅读理解基线模型代码阅读笔记(二)-- 介绍及分词菜鸟笔记-DuReader阅读理解基线模 ...
菜鸟笔记-DuReader阅读理解基线模型代码阅读笔记（九）—— 预测与校验
系列目录: 菜鸟笔记-DuReader阅读理解基线模型代码阅读笔记(一)--数据菜鸟笔记-DuReader阅读理解基线模型代码阅读笔记(二)-- 介绍及分词菜鸟笔记-DuReader阅读理解基线模 ...
【书籍】Writing Science How to Write Papers That Get Cited and Proposals That Get Funded阅读小结
[书籍]Writing Science How to Write Papers That Get Cited and Proposals That Get Funded阅读小结书籍pdf版下载链接: ...
AMEsim HCD库中锐边开有槽口的滑阀模型help文档阅读小结
一.概述图1 模型原理图 BASEN01/02 (spool edge with notches) 它表示一种滑阀锐边开有槽口(notches)的阀芯模型.该模型允许用户在滑阀的锐边上设计不同 ...
算法工程师在岗3年小结：模型策略、工作思路以及个人成长
作者丨机智的叉烧@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/453800419 编辑丨极市平台导读作者对自己的成长和思路进行了总结,总共分了三个角度:模型策略 ...
论文阅读：机器学习模型可解释性方法、应用与安全研究综述
近日阅读了一篇讲述可解释性的中文综述文章机器学习模型可解释性方法.应用与安全研究综述,对模型可解释性的相关知识有了进一步的了解.本文是阅读这篇综述的一些笔记以内容摘要. 0 引言背景:虽然机器学习和 ...
【论文阅读】KLD模型
旋转目标检测方法解读(KLD, NeurIPS2021) 旋转目标检测方法解读(KLD, NeurIPS2021) - 知乎 Learning High-Precision Bounding Box ...
【web前端】CSS笔记小结盒子模型+PS基操+样例（Day 3+部分Day 4）
来源:黑马程序员pink老师前端入门教程目录 I. 盒子模型 Box Model ①网页布局的本质 ②组成部分 ❀图解 ❀边框 border ※ 组成 ※※ 样式 ※ 简写 ※练习 ※细线边框 ...

阅读小结：NIC模型

阅读小结：Show and Tell: A Neural Image Caption Generator

阅读小结：NIC模型相关推荐

最新文章

热门文章