图像描述的注意力可视化

深度学习的模型和训练过程对我们来说如同一个黑匣子，可解释性不强，此时可视化的重要性愈发凸显；同时在我们的实验结果分析里，除了一些冷冰冰的数据支撑之外，可视化的展示也可以更直观地让读者感受到模型的效果。常规的可视化包括：模型结构的可视化、卷积参数的可视化、训练过程的可视化、热图可视化等。今天给大家介绍一种实现注意力可视化的代码（以图像描述为例）

源码链接: visualization

注意力机制实际上就是想将人的感知方式、注意力的行为应用在机器上，让机器学会去感知数据中的重要和不重要的部分。例如当我们看到一幅图像时，在某个时间段眼睛会聚焦在图像的某一区域，此时会重点关注这一部分而忽视其他部分，注意力就是让模型拥有同样的功能。

我们理论上可以解释的通，但注意力在模型的训练过程中到底是怎么作用的呢？

此时就需要进行注意力的可视化展示，图像描述的可视化效果如下图所示，当我们生成或预测某个单词时，注意力就会重点关注图像中相应的区域，可以更直观的让我们感受的注意力到底是什么东西，它在我们模型的训练过程中以一种什么样的作用存在。

那么上面效果图如何实现的呢？下面简单描述一下流程：

首先给定图像，模型等一些参数
然后加载模型、字典，对图像进行预处理等
根据图像和模型得到图像的描述句子以及生成描述过程中的注意力权重
最后，根据图像，句子以及注意力权重得到最终的可视化描述效果
上面简单的描述了一下流程，具体的实现代码，大家可以参考源码，链接: visualization

图像描述的注意力可视化相关推荐

计算机视觉 | 图像描述与注意力机制
图像描述的含义是生成图像的描述,采用注意力机制生成图像标题,图像标题的每个词集中在图像中最相关的部分,并且预测下一个词. 如下图的图像生成: 图像标题:<start>a large air ...
Actor 分布式并行计算模型: The Actor Model for Concurrent Computation
分布式计算技术之Actor计算模式 The Actor Model for Concurrent Computation 背景介绍计算机CPU的计算速度提高(频率的提高)是有限度的,我们能做的是放入 ...
BERT模型可视化分析总结：BertVi注意力分布与dodrio句法语义分析使用实录
BERT可解释分析是一项十分有趣的工作,而借助可视化工具进行辅助分析更是一条有效路径. 本文主要介绍目前以注意力为核心的可解释可视化工具,包括 BertViz交互式可视化工具以及dodrio注意力可视 ...
文献阅读-融合注意力机制的 IETM 细粒度跨模态检索算法
引用格式:翟一琛,顾佼佼,宗富强,姜文志．融合注意力机制的 IETM 细粒度跨模态检索算法[J/OL]．系统工程与电子技术. https://kns.cnki.net/kcms/detail/11. ...
神经网络中的注意力机制总结及PyTorch实战
技术交流 QQ 群:1027579432,欢迎你的加入! 欢迎关注我的微信公众号:CurryCoder的程序人生 0.概述当神经网络来处理大量的输入信息时,也可以借助人脑的注意力机制,只选择一些关键 ...
【NLP】可交互的 Attention 可视化工具！我的Transformer可解释性有救了？
文 | Sherry 视觉是人和动物最重要的感觉,至少有80%以上的外界信息是经过视觉获得的.我们看论文的时候,通过图表来确定文章的大致内容往往也是一个更高效的说到深度神经网络的可视化,最经典的莫过 ...
推荐一个可交互的 Attention 可视化工具！我的Transformer可解释性有救啦？
本文首发于微信公众号"夕小瑶的卖萌屋" 文 | Sherry 源 | 夕小瑶的卖萌屋视觉是人和动物最重要的感觉,至少有80%以上的外界信息是经过视觉获得的.我们看论文的时候,通过 ...
可交互的 Attention 可视化工具！我的Transformer可解释性有救了？
文 | Sherry 视觉是人和动物最重要的感觉,至少有80%以上的外界信息是经过视觉获得的.我们看论文的时候,通过图表来确定文章的大致内容往往也是一个更高效的说到深度神经网络的可视化,最经典的莫过 ...
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) Encoder编码器-Decoder解码器框架 + Atten ...

图像描述的注意力可视化

图像描述的注意力可视化相关推荐

最新文章

热门文章