深度学习中关于 “深度” 的理解
深度学习中对深度的理解还是很值得去思考的，是规模的深度，还是特征的深度？
事实上，通过实验可以发现卷积层的参数由卷积核的个数和卷积核的尺寸来控制，这两个参数直接决定整层的参数的个数，如果两个卷积层这两个参数完全相同，那么这两层的总参数量也完全相同。我们在设计神经网络的时候，卷积核一般是逐层增加的，卷积核的尺寸控制在3*3或者5*5这样的小尺寸是比较好的，小卷积核尺寸已经有很多网络结构说明在图像识别上是具有一定优势的。卷积核的增加直接导致了网络参数的增加，当然在网络中缩小卷积核的尺寸或者卷积核的个数也可以减少当层的参数个数，U-Net就是很明显的代表，事实上经过U-Ne处理之后的图像更加凸显了模型想要采集的重点特征，也就是在encoder的过程中，模型是对特征进行不断抽象从而获取高级特征，神经网络本身就是层次结构，这种层次结构是对特征一步步的提取。
如何理解深度学习中特征的深度呢？浅层一般提取的都是诸如纹理，结构，色彩这些基础的特征，这些通过是通过我们所给的参数来描述的，浅层的效果不够理想，也是我们给的参数无法很好的拟合基本特征进而来描述整个影像，基础特征的自由度太大了。联系到高光谱影像的处理，高光谱影像由于高维特性在维度这个方向带来的特征很大，而在空间上的采样是有限的，局部地区的样本总数可能很少，也就是说维度的高和空间的数量上没办法很多的对应拟合起来，但是高维往往不是都有用的，有很多的冗余信息，所以在处理该类影像时候，我们也要把维度先降下来，不过在研究上，我们也可以去探索整波段输入的可能性。利用深度学习去处理这个问题的时候，我们的设定可以直接影响到模型的总参数量，但是从神经网络的规范设计上来讲，我们还是要把通道数随着网络深度的增加而增加的，每一层的参数量是要不断上升的，这样就能基于前一层实现对特征很好的拟合，给的参数量够给特征进行线性组合，再通过激活函数增加非线性，不断增加层次。
从上面分析来看，我们是可以考虑在高光谱影像中应用更深的结构的，从往常的实验表明，深度越深，对于特征的拟合是更好的，由于Hughes现象的存在，在3D网络中是不是能够通过神经网络本身的特征提取和对第三位尺寸的控制来实现深度的特征提取。
深度学习的深度我自己认为更多还是特征的层次的抽象提取，我们还是要遵循网络的基本设计在每层上不断增加参数量的。模型可以在规模上很深，但是人为的去在每一层减少参数，也可以让总的参数量不那么大，进而在计算上也更有优势，这也是现在需要研究的问题。
实验结构深度的简单代码在我的github上，欢迎关注！！
深度学习中关于 “深度” 的理解相关推荐
- 深度学习中的深度信念神经网络
深度信念神经网络(DBNN)是深度学习的最早应用之一.DBNN就是具有多个层的常规信念神经网络.Neil在1992年提出的信念神经网络不同于常规的FFNN.Hinton(2007)将DBNN描述为&q ...
- 深度学习中的深度前馈网络简介
几乎所有的深度学习算法都可以被描述为一个相当简单的配方:特定的数据集.代价函数.优化过程和模型. 在大多数情况下,优化算法可以定义为求解代价函数梯度为零的正规方程.我们可以替换独立于其它组件的大多数 ...
- 计算机视觉中的深度深度学习中的深度
关于深度 Deep learning Depth estimation Deep Depth不一样的 Depth estimation指的是估计图片中每个像素点到相机的距离,或者说每个像素点的深度. ...
- 【Attention】深度学习中的注意机制:理解序列模型中的注意机制How Attention works in Deep Learning
[学习资源] How Attention works in Deep Learning: understanding the attention mechanism in sequence model ...
- 深度学习中的IoU概念理解
1.什么是IoU(Intersection over Union) IoU是一种测量在特定数据集中检测相应物体准确度的一个标准.IoU是一个简单的测量标准,只要是在输出中得出一个预测范围(boundi ...
- 深度学习中的 BN (BatchNormalization)理解
CNN 三大算子: CONV + BN +RELU 1.为什么 BN 指导思想: 机器学习领域有个很重要的假设:IID独立同分布假设,就是假设训练数据和测试数据是满足相同分布的. 具有统一规格的数据, ...
- 关于深度学习中三维矩阵的理解（RGB图像的输入）
#! /usr/bin/env python # -*- coding: utf-8 -*-""" =================================== ...
- 卷积为什么如此强大？理解深度学习中的卷积
译自Tim Dettmers的Understanding Convolution in Deep Learning有太多的公开课.教程在反复传颂卷积神经网络的好,却都没有讲什么是"卷积&qu ...
- 深度 | 理解深度学习中的卷积
译者按:本文译自 Tim Dettmers 的 Understanding Convolution in Deep Learning.有太多的公开课.教程在反复传颂卷积神经网络的好,却都没有讲什么是「 ...
- 理解深度学习中的卷积
译者按:本文译自 Tim Dettmers 的 Understanding Convolution in Deep Learning.有太多的公开课.教程在反复传颂卷积神经网络的好,却都没有讲什么是「 ...
最新文章
- SpringBoot v2.2.6版本遇到的坑 --- HiddenHttpMethodFilter组件的锅
- [云炬python3玩转机器学习笔记] 3-7Numpy中的矩阵运算
- 【Python】全国气温骤降，Python一键生成御寒指南，助你温暖过冬！！
- 【Python】你的表格太丑了！能美化下吗？
- yum 下载全量依赖 rpm 包及离线安装（终极解决方案）
- sql server 2008安装需要一直重启。但重启后又没有达到效果。
- 那些年，登山徒步记录，立贴
- Java ASM与Javassit
- Java13的API_JAVA基础--JAVA API常见对象(其他API)13
- 转：探索 AIX 6：在 AIX 6 上配置 iSCSI Target
- ZZULIOJ 1117: 查找数组元素
- Java学习笔记2.5.2 循环结构 - 计数循环
- android canvas 画按钮,Android 用Canvas轻松绘制一个时钟
- spring mvc实例
- pandas小记：pandas基本设置
- 如何修改macOS文件的默认打开方式？
- 学习python 3 入门知识
- linux（Ubuntu）下Navicat的激活与无限试用
- 数仓OLAP(一)--即席查询 Kylin
- 方向导数与梯度——学习笔记