MIT提出Matlab插件mNeuron:实现深度模型神经元的可视化
MIT提出Matlab插件mNeuron:实现深度模型神经元的可视化
近日,麻省理工学院(MIT)Antonio Torralba 等人发表了一篇题为《mNeuron: A Matlab Plugin to Visualize Neurons from Deep Models》的文章,介绍了一个可视化深度模型神经元的 Matlab 插件 mNeuron,能够可视化单个神经元和单个神经元模式;并共享了该插件实现的代码和 4 个应用演示。
项目链接:http://vision03.csail.mit.edu/cnn_art/?utm_content=buffer2ff9c&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer
内容
- 代码:通过反向传播优化可视化从深度学习工具包中训练的神经元 [支持 Caffe 和 matconvnet]
- 演示:
- 可视化单个神经元
- 可视化单个神经元模式
- 类内变体(Intra-class variation):优化已学习的 fc6 或 fc7 relu mask
- 层级二进制 CNN 代码(Hierarchical binary CNN code):通过预定义的 relu mask 优化
- CNN 图像完成(Image completion with CNN):通过边界条件优化
- 参考
- 可视化方法根据《Mahendran and Vedaldi. Understanding Deep Image Representations by Inverting Them》进行了改良。
- 说明书
演示 1:可视化单一神经元(V_neuronInv.m)
目的:找到一个图像,可以使单神经元的激活值优化 [Erhan et al., Simonyan et al., Zhou et al.]
a. 不同连接层(AlexNet):我们使从 ImageNet 数据集进行学习的 Conv 网络 1、3、5 层的神经元可视化。随着层的深度的增加,神经元学着去识别简单的边沿、斑点和纹理图案,以及复杂的物体局部和类别(从 Conv 网络的第 5 层,我们检索了真实图像从而与 Zhou et al. 的结果进行对比)。
b. 镶嵌艺术(Tessellation Art)我们不会在 1x1 的接受域(receptive field)内对单神经元的激活值进行优化,我们把接受域延伸到了全图范围(GoogleNet inception4a—14x14)。我们手动整理了一些神经元的可视化结果,从而把物体的局部镶嵌进艺术墙纸。
c. 不同的数据集:我们可视化了从两个不同数据集(ImageNet 和 Places)进行学习的 Conv 网络 4-5 层的神经元。
d. 不同的网络:(AlexNet、VGG-16、NIN、GoogleNet)给定四个语义片段「狗、火焰、钟表和车轮」,我们对四个不同网络的约齐层(roughly aligned layers—在全连层之前)的最活化(top-activated)神经元进行可视化。
演示 2:可视化类内变体
类内变体:在给定一个物体类别的训练图像的情况之下,我们集群 Fc 神经元反应以找到一般性的神经元放电模式(神经通路)。对于每个模式,我们选择 top-k 已激活的神经元,并从数字上找到一个优化这些神经元的全部激活值的图像。
演示 3:可视化二进制 CNN 代码
给定一张输入图像,我们可以把它的二进制代码定义为其 relu mask m5-7。[Agrawal et al.(https://arxiv.org/abs/1407.1610)] 指出,这些二进制代码取得了原始深度特征的相似分类结果。这里我们考虑三个不同的带有渐增长度的二进制代码:m7、m6-7、m5-7。
为了可视化一张图像的二进制代码,我们为 Fc8 标签执行相同的「单一神经元可视化」的操作,除却在优化过程之中原始 relu 层之后应用额外的二进制代码。通过更多层的二进制代码,我们可以恢复原始图像的本质(essence),这部分解释了它的分类有效性。
演示 4:用卷积神经网络完成图像 (V_inpaint.m)
详见说明书 5.3 章节。主旨是我们可以利用图像上的边界约束来进行神经元(单一神经元或者神经元模式)可视化。
MIT提出Matlab插件mNeuron:实现深度模型神经元的可视化相关推荐
- MIT提出封闭式连续时间神经网络,解决大脑动力学问题可产生灵活的机器学习模型...
编辑/绿萝 去年,麻省理工学院(MIT)的研究人员开发出了「液体」神经网络,其灵感来自小型物种的大脑,不仅能在训练阶段学习,而且还能持续不断地适应.可用于自动驾驶和飞行.大脑和心脏监测.天气预报和股票 ...
- 香侬科技提出中文字型的深度学习模型Glyce,横扫13项中文NLP记录
香侬科技近期提出 Glyce,首次在深度学习的框架下使用中文字形信息(Glyph),横扫 13 项中文自然语言任务记录,其中包括:(1) 字级别语言模型 (2) 词级别语言模型 (3) 中文分词 (4 ...
- 训练ViT和MAE减少一半计算量!Sea和北大联合提出高效优化器Adan,深度模型都能用
转载自 | 新智元 [导读]换个优化器,计算量少一半. 自Google提出Vision Transformer(ViT)以来,ViT渐渐成为许多视觉任务的默认backbone.凭借着ViT结构,许多视 ...
- 训练ViT和MAE减少一半计算量!Sea和北大联合提出高效优化器Adan,深度模型都能用...
视学算法报道 编辑:LRS 好困 [导读]换个优化器,计算量少一半. 自Google提出Vision Transformer(ViT)以来,ViT渐渐成为许多视觉任务的默认backbone.凭 ...
- 训练ViT和MAE减少一半计算量!Sea和北大提出新优化器Adan:深度模型都能用!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入-> CV 微信技术交流群 转载自:新智元 | 编辑:LRS 好困 [导读]换个优化器,计 ...
- 循环神经网络matlab程序设计,神经网络及深度学习(包含matlab代码).pdf
神经网络及深度学习(包含matlab代码) 神经网络及深度学习 (包含 MATLAB 仿真) 人工神经网络(Artificial Neural Network,即 ANN ), 作为对人脑最简单的一种 ...
- 马毅:低维模型与深度模型的殊途同归(神经网络、压缩感知和低秩分解与补全)
机器之心原创 作者:邱陆陆 上周,今日头条人工智能实验室在清华大学举办了第二期 AI 技术沙龙,邀请到上海科技大学信息科学与技术学院的马毅教授带来题为「高维数据的低维结构与深度模型」的主题分享.马毅教 ...
- 怎么用matlab画无差别曲线,MATLAB系列第二章初等模型.ppt
<MATLAB系列第二章初等模型.ppt>由会员分享,可在线阅读,更多相关<MATLAB系列第二章初等模型.ppt(68页珍藏版)>请在人人文库网上搜索. 1.第二章 初等模型 ...
- 马毅:低维模型与深度模型的殊途同归
作者:邱陆陆 上周,今日头条人工智能实验室在清华大学举办了第二期 AI 技术沙龙,邀请到上海科技大学信息科学与技术学院的马毅教授带来题为「高维数据的低维结构与深度模型」的主题分享.马毅教授以计算机视觉 ...
最新文章
- 图论 ---- C. Graph Transpositions(数据分阶段分层图最短路(二维) + 贪心)
- Browser Security-同源策略、伪URL的域
- 【dart学习】-- Dart之函数
- 搭建SVN版本控制服务器
- Java8 中用法优雅的 Stream 性能也优雅吗?
- 第一课 计算机网络的分类,第一课-计算机网络基本组成
- Android构建流程——篇六
- NOIP模拟测试「简单的区间·简单的玄学·简单的填数·简单的序列」
- linux c 指针和内存分配内存,linux-C基础系列-内存管理(野指针).md
- android 加载网络bitmap图片 oom 简书_Android常见问题--ImageView加载图片OOM
- c语言编译器app官网下载,c语言编译器
- 测试员35岁以后找不到工作?问完了几千人后,我们得到了答案......
- python之路-操作系统
- HDOJ-1002 A + B Problem II C语言
- MongoDB实战-生产环境中分片的部署与配置
- java和vue实现滑动拼图验证码
- 利用for语句,编程输出如下图形:* *** *****
- php调用翻译,PHP调用有道词典翻译API实现翻译功能及代码
- 微信朋友圈输入框加发送测试用例总结
- 异常e.getMessage()与e.getCause().getMessage()的区别
热门文章
- 变频器输出功率_变频器的输出功率该如何选择?
- 棋盘最短路径 python_Dijkstra 最短路径算法 Python 实现
- php中文网数据库的搭建,【后端开发】php数据库中文乱码
- Nginx 内置 命令启动,停止和重新加载Nginx
- mongodb update
- vb.net 设置打印纸张与页边距_文字办公—Word文档如何设置装订线
- 59. Leetcode 81. 搜索旋转排序数组 II(二分查找-局部有序)
- 9. Leetcode 27. 移除元素 (数组-同向双指针-快慢指针)
- 数组中子数组的最大累乘积
- 梯度下降法原理及实现