3D 可视化,卷积、池化清清楚楚!网友:终于能看懂神经网络到底在干啥了......
行早 发自 凹非寺
量子位 | 公众号 QbitAI
神经网络在工作的时候,里面到底是什么样?
为了能透视这个“AI黑箱”中的过程,加拿大蒙特利尔一家公司开发一个3D可视化工具Zetane Engine。
只需要上传一个模型,Zetane Engine就可以巡视整个神经网络,并且还可以放大网络中的任何一层,显示特征图,看清流水线上的每一步:
△图注:卷积层的特征图(左)和特征图的3D可视化(右)
目前Zetane Engine不同系统的版本都可以在GitHub中找到(安装包见文末链接),话不多说,来看看Zetane Engine具体的用法吧~
可视化AI工作流程
首先,我们需要上传一个模型,例如一个识别手写数字的神经网络,输入的图片是一个手写的“2”:
上传之后,Zetane Engine就绘制出了一条“流水线”,每一层神经网络就像一个个工作间:
从输入到卷积,再到连接、激活、池化:
这些个小工作间的进展也是透明的,不信我们聚焦到一个卷积层工作间,点这个图片形状的按钮:
然后这个卷积层的所有特征图都会在上面显示出来,卷积数值的不同体现为颜色的不同,蓝紫色代表数值较小,红黄色代表数值较大:
只有这些还不够,高能现在才刚开始,注意图片按钮右边九个点形状的按钮了吗?
点击它,Zetane Engine会在界面右边展示出一个工具栏,把刚才显示在卷积层上面的图片呈现出各种各样的形式~
其中有排列成三维立体的、标注卷积结果数值的,以及纯数值的应有尽有:
二维视角 | |
三维视角 | |
标注卷积结果的平面图 | |
纯卷积结果的数值平面图 |
这样的“工作报告”,谁看了不喜欢?不仅能够可视化地看到卷积过程,还可以调出每一个像素点上的卷积结果。
这还没完,这种多角度的图像处理在连接层、激活层、池化层等工作间也同样适用:
△图注:激活层特征图
△图注:池化层特征图
一整个看下来,神经网络的工作流程都清清楚楚:
到了最后的全连接输出层,模型会输出一个十列的一维向量(下图右边),用来判断手写数字是0-9的哪一个。
在这个例子中,模型给出了可能性最高的就是数字2。
怎么样?有了这样可视化的工具,是不是感觉AI模型不再是一个黑箱了?
Zetane Engine用法速览
Zetane Engine不同系统的版本(Windows、Linux、Mac)都可以在GitHub中找到。
这里我们简单介绍一下Zetane Engine的界面和启动台,方便大家快速熟悉。
打开之后界面是比较简洁的,只有左上角和右上角有一些按钮。我们先看左上角。
上传模型的按钮在启动台左上角Z字标志这里,Zetane Engine支持ONNX、Keras(.h5)以及ZTN三种模型文件。
Z字按钮旁边两个按钮依次是启动模型和清除模型:
如果手头上还没有模型也没关系,点击界面右上角的Z形图标可以到Zetane Engine的模型库中下载模型:
△图注:Zetane Engine的模型库
另外在启动台SNAPSHOTS按钮这里也有一些经典模型可以选择:
感兴趣的同学可以从文末链接中找到Zetane Engine的下载包,来试试吧~
参考链接:
[1]https://github.com/Zetane/viewer
[2]https://www.youtube.com/watch?v=J3Zd5GR_lQs
本文仅做学术分享,如有侵权,请联系删文。
3D视觉精品课程推荐:
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法:算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼)
13.重磅!四旋翼飞行器:算法与实战
14.ROS2从入门到精通:理论与实战
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
3D 可视化,卷积、池化清清楚楚!网友:终于能看懂神经网络到底在干啥了......相关推荐
- 神器来啦!一键可视化,终于能看懂神经网络到底在干啥了
来源:量子位 神经网络在工作的时候,里面到底是什么样? 为了能透视这个"AI黑箱"中的过程,加拿大蒙特利尔一家公司开发一个3D可视化工具Zetane Engine. 只需要上传一个 ...
- 上传ML模型,一键可视化,终于能看懂神经网络到底在干啥了
行早 发自 凹非寺 量子位 | 公众号 QbitAI 神经网络在工作的时候,里面到底是什么样? 为了能透视这个"AI黑箱"中的过程,加拿大蒙特利尔一家公司开发一个3D可视化工具Ze ...
- 【模型解读】从LeNet到VGG,看卷积+池化串联的网络结构
文章首发于微信公众号<与有三学AI> [模型解读]从LeNet到VGG,看卷积+池化串联的网络结构 从本篇开始,我们将带领大家解读深度学习中的网络的发展 这是深度学习模型解读第一篇,本篇我 ...
- 人工智能-作业5:卷积-池化-激活
目录 实现[卷积-池化-激活]代码,并分析总结 For循环版本:手工实现 Pytorch版本:调用函数完成 卷积 池化 激活 可视化:了解数字与图像之间的关系 运行效果如下: 原图 卷积核 特征图 总 ...
- 个人理解卷积 池化 的用处
卷积 池化 的用处 卷积让局部特征更加明显.更加突出有用的特征. 池化,降低特征纬数,方便运算. 参考: 如何理解卷积神经网络(CNN)中的卷积和池化? - 知乎 CNN中卷积层和池化的作用和理解 - ...
- 卷积神经网络系列之卷积/池化后特征图大小怎么计算??
1.卷积后的大小: W:矩阵宽,H:矩阵高,F:卷积核宽和高,P:padding(需要填充的0的个数),N:卷积核的个数,S:步长 width:卷积后输出矩阵的宽,height:卷积后输出矩阵的高 w ...
- 【数据挖掘】卷积神经网络 ( 池化 | 丢弃 | 批量规范化 | 卷积神经网络完整流程示例 | 卷积 | 池化 | 全连接 | 输出 | 卷积神经网络总结 )
文章目录 I . 池化 II . 丢弃操作 III . 批量规范化 IV . 卷积神经网络 完整流程示例 ( 1 ) : 原始输入图 V . 卷积神经网络 完整流程示例 ( 2 ) : 卷积层 C1C ...
- 一个在线卷积池化计算器-推荐不会计算的同学
很多刚入门的身边的小伙伴不会计算卷积和池化,于是为了方便大家计算顺便根据卷积池化计算公式设计了一个在线计算器 卷积池化计算器地址 如果你很懒的话,可以用这个计算.
- 【卷积神经网络--卷积/池化后特征图大小计算公式】
[卷积神经网络–卷积/池化后特征图大小计算公式] 参考链接: 卷积神经网络系列之卷积/池化后特征图大小怎么计算?? torch中的Conv2d卷积的输入的Tensor张量是:[batch, chann ...
最新文章
- 2018年 IEEE Fellow出炉!清华、上交、北大、中科大...看看名单里还有谁?
- oracle 表空间操作
- android 固定大小,android 固定大小取图片缩略图
- Spark性能优化指南:高级篇
- csdn博客markdown 如何输入上下标(如平方指数等)
- 互联网晚报 | 12月11日 星期六 | 极兔正式入股百世快递;全球首颗云原生卫星诞生;紫光集团重组战略投资者确定...
- python yield理解_python教程:迭代器,生成器与for循环机制
- lol更新显示正在连接服务器,wegame更新游戏显示正在连接服务器
- 互联网营销师淘宝主播
- 05矩阵04——分块矩阵、分块矩阵的运算、分块矩阵的初等变换、分块初等矩阵的性质、按行分块、按列分块
- 软件测试 | 常见代理工具
- Mac上备份iphone照片
- 存款显示服务器故障,存款显示服务器故障
- Real World Games Look Like Spinning Tops (DeepMind NIPS2020) 论文阅读记录
- Unity图集优化原理
- 艾瑞报告| 中国 IoT 物联网行业研究
- 女程序员职业发展的特别之处
- 解决联想笔记本电脑经常突然休眠的问题
- easypoi根据模板导出word
- 接口对接文档规范2023年最新版(Restful API风格)
热门文章
- HNUSTOJ-1674 水果消除(搜索或并查集)
- 代理中调用alert()
- ASP.NET配置文件Web.config
- Kafka基础入门篇
- 缓存击穿!竟然不知道怎么写代码???
- 亿级用户基于微服务的互联网系统稳定性~
- Redis性能优化准则!必须遵守的十条军规
- 拼多多再起波澜!某程序员匿名发布拼多多楼下救护车照片,却被揪出开除!...
- 面试官:能说一说Mysql缓存池吗?
- 阿里程序员回老家被哥们问工作,回答在阿里,哥们却吐槽:破IT就破IT,还阿里巴巴!网友:京东就是送快递的,美团就是送外卖的!...