CNN 解析 --唐宇迪

1 卷积过程大概是这样，注意有深度信息。
2.卷积的计算过程，注意卷积的深度要和图像的通道数相同
3.说到卷积，一定要提到下面这张经典的图
-这张图的意思，大概就是一个RGB三通道的图，conv层是两个filter组成的卷积，维度都是3，最后经过内积以及加和得到两个特征图。
-大家也有注意到，本来我的图像是5*5的，添加了一圈（padding=0），这是因为卷积会重点计算靠近中心的像素点，忽=忽视边界点，补上padding是为了更好的利用边界点，这样不容易丢失特征信息。
-卷积后的特征图往往会变小，补上padding=0也会使特征图不会变化，压缩和降维的操作交给pool层去做即可。
4 首先提取图像的边缘信息等局部信息，之后再对局部信息进行拼接提取更高层的特征。
5.每个卷积层有不同数量的卷积核，一个filter输出一个特征层
特征图大小计算公式，其中W1、H1表示输入的宽度、长度；W2、H2表示输出特征图的宽度、长度； F表示卷积核长和宽的大小；S表示滑动窗口的步长;P表示边界填充(加几圈0)
6.卷积参数共享

每个卷积层有不同的卷积核，每个卷积核权重矩阵都不相同，但当每个卷积层对图像进行卷积运算的时候，所有区域都使用同一个权重矩阵，因为不可能不同区域使用不同的权重矩阵，这样参数过多。
每个卷积核都有自己的bias.

池化层，对特征图降维和压缩
卷积的过程就是，特征图不断变多，尺度不断被压缩。
7.如下是Alexnet的架构
最后几层FC是全连接层，用于分类，全连接层的输入是一位向量，把特征图模块的深度转换到第三个维度，比如[323210,5]
；含义就是将size:32*32,depth:10 的特征图模块压缩到一维，然后分类成5个类别。
8.感受野
感受野，就是可以推算出当前特征图的一个数据是由原始输入层的多少个数据卷积输出的。

下图的第三次卷积后的一个数据由原始输入5*5的size得到。
这时候就有个疑问，为什么不直接用5*5的卷积层输出结果，而是用这么多conv层呢，这样不会使速度变慢吗？
其实神经网络的运行速度是由参数决定的，多个小conv层往往会有更少的参数
很明显，堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细致，由于每个conv后面跟一个RELU层，所以加入的非线性变换也随着增多。

那是不是层数越多，准确率越高呢？

并不是这样的。
这是为了可以有效地堆叠网络深度，引入Resnet 残差网络。
当堆叠的层数输出的准确率未添加的要小时，使堆叠的层数的权重变小，这样保证网络的准确率至少不会比原来差。
这里是34层的resnet，但有没有注意到有虚线出现，这是因为不同深度的特征层和无法相加的，可能添加的conv层维度filter变多，这样就无法和原来的输出相加，这就需要对原有的输入做一次conv改变特征层维度。

8迁移学习
有个小技巧，在训练我们的网络时，可以先去着别人做过的类似的工作，然后之前套用训练好的权重参数，以及网络架构，只对输入输出做出适合我们任务的修改。
分类任务举例，因为是针对我们的任务分类，所以只对FC层做训练，之前特征提取的层用训练好的参数，最后整体网络架构进行训练。
训练集和验证集要采用同一种预处理方式
batch_size 越大越吃显存
tensor 的颜色通道在第一位，在输出tesor图像是要修改(transform)
mini_batch是神经元的个数
尽量使用交叉验证的方式训练
9.反向传播
通过Loss值调整权重，
链式法则求导调整权重，负梯度值调整权重
推荐大家看一下唐宇迪大佬的视频。

CNN 解析 --唐宇迪相关推荐

免费技术直播：唐宇迪带你一节课了解机器学习经典算法
常常有小伙伴在后台反馈:机器学习经典算法有哪些? 自学难度大又没有效果,该怎么办? CSDN为了解决这个难题,联合唐宇迪老师为大家带来了一场精彩的直播[一节课掌握机器学习经典算法-线性回归模型].本次 ...
唐宇迪机器学习课程数据集_最受欢迎的数据科学和机器学习课程-2020年8月
唐宇迪机器学习课程数据集 There are a lot of great online resources and websites on data science and machine lear ...
数据挖掘的好书_唐宇迪：入门数据挖掘，我最推荐这本书
在<什么值得读>人工智能入门书精选推荐系列的第二篇中,唐宇迪老师为我们推荐了一本他极力推荐的数据挖掘入门书. 入门数据挖掘,我最推荐这本书文/唐宇迪伴随着人工智能与数据科学行业的 ...
唐宇迪机器学习实战课程笔记(全)
1. 线性回归 1.1线性回归理论 1.2线性回归实战 2.训练调参基本功(线性回归.岭回归.Lasso回归) 2.1 线性回归模型实现 2.2不同GD策略对比 2.3多项式曲线回归 2.4过拟合和欠 ...
23神经网络 :唐宇迪《python数据分析与机器学习实战》学习笔记
唐宇迪<python数据分析与机器学习实战>学习笔记 23神经网络 1.初识神经网络百度深度学习研究院的图,当数据规模较小时差异较小,但当数据规模较大时深度学习算法的效率明显增加,目前大 ...
唐宇迪资源-机器学习与深度学习
本人看了很多教学视频,觉得唐宇迪老师的机器学习课程,能够使用通俗易懂的原理讲解与实例代码结合带大家快速熟练掌握机器学习的经典算法.对于有基础和没基础的同学,都能让你轻易入门,但是得一边看一遍敲,实践才 ...
自然语言处理Word2Vec视频学习教程-唐宇迪-专题视频课程
自然语言处理Word2Vec视频学习教程-7870人已学习课程介绍自然语言处理Word2Vec视频培训课程:自然语言处理中重要的算法,word2vec原理,词向量模型.教程从语言模 ...
Python数据分析（统计分析）视频教程-唐宇迪-专题视频课程
Python数据分析(统计分析)视频教程-708人已学习课程介绍 Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python为核心工具,结合其工具包 ...
唐宇迪博士实战代码教学视频课程全集，带你一起数据分析、深度学习
唐宇迪,同济大学计算机博士,专注于机器学习与计算机视觉领域,人工智能与数据科学领域培训专家,上海人工智能协会核心主干.参与多个国家级计算机视觉与数据挖掘项目,主要研究面部识别与特征构造,异常识别等领域 ...
唐宇迪机器学习课程笔记：逻辑回归之信用卡检测任务
信用卡欺诈检测基于信用卡交易记录数据建立分类模型来预测哪些交易记录是异常的哪些是正常的. 任务流程: 加载数据,观察问题针对问题给出解决方案数据集切分评估方法对比逻辑回归模型建模结果分析 ...

CNN 解析 --唐宇迪

CNN 解析 --唐宇迪相关推荐

最新文章

热门文章