第1章：卷积神经网络：从欧氏空间到非欧氏空间
卷积神经网络：从欧氏空间到非欧氏空间
人工神经网络发展浪潮
第三次浪潮——卷积神经网络
加拿大多伦多大学教授，机器学习领域泰斗Geoffery Hinton及其学生在《科学》上发表了一篇论文，开启了深度学习在学术界和工业界的新浪潮！
卷积计算与神经网络结构
卷积定义
设f(x)f(x)f(x)和g(x)g(x)g(x)是RRR上的两个可积函数，连续形式卷积定义如下
离散空间卷积
yn=x×w=y_n = x \times w=yn=x×w=
卷积计算与神经网络结构
基本概念——卷积
- 卷积核大小 (Kernel Size): 卷积操作感受野，在二维卷积中，通常设置为3，即卷积核大小为3×3
- 步长 (Stride): 卷积核遍历图像时的步幅大小，默认值通常设置为1
- 边界扩充 (Padding): 样本边界的处理方式
- 输入与输出通道 (Channels): 构建卷积层时需定义输入通道数量III，和输出通道数量OOO，每个网络层的参数量为I×O×KI×O×KI×O×K（K为卷积核的参数个数）
基本概念——池化、全连接
- 池化层
- 特殊形式卷积
- 降维、减少数据计算量，减缓过拟合，特征不变性（平移、尺度）
- 全连接层
- 模型输出层
- 分类、回归
多层卷积神经网络示例
- 卷积核大小为5*5，步长为1，不扩充边界，输入通道为3，输出通道为2
- 输出通道数为6，其余参数不变。
- 第一层的输出通道数为3，第二层输出通道数为6。
CNN模型
AlexNet、VGGNet-卷积开创
- 网络更深：AlexNet一共8层，VGGNet一共16层或19层
- 数据增广：为增强模型泛化能力，对256×256原始图像进行随机裁剪，得到尺寸为224×224图像，输入网络进行训练
- ReLU非线性激活函数：减少计算量，缓解梯度消失，缓解过拟合。ReLU激活函数现已成为神经网络中最通用的激活函数
- Dropout：全连接层神经元以一定概率失活，失活神经元不再参与训练。Dropout的引用，有效缓解了模型的过拟合
- Pre-Training：先训练一部分小网络，确保稳定之后，在此基础上网络逐渐加深。
GoogLeNet-深度、宽度扩展
- 网络更深：GoogLeNet一共22层
- 多分辨率结构：引入Inception结构替代传统卷积+激活
- 计算量降低：采用1×1卷积核来实现数据降维
深度、宽度再扩展——ResNet、DenseNet
- 网络更深：ResNet已超过一百层（ResNet-101）
- 残差连接：特征经两条路线传递，常规路线与捷径
- 跳跃连接：底层特征与高层特征相融合
络通用性扩展
深度可分离卷积
- 5×5分通道卷积
- 1×1卷积融合各通道特征
空洞卷积（膨胀卷积）
- 局部输入不变
- 感受野变大
计算范式
- 多维欧式空间
- 局部空间响应
- 卷积参数共享
卷积神经网络拓展至非欧空间
欧式空间非规则化连接—活性卷积
活性卷积 (CVPR 2017) --> 卷积核形状可变
如何卷积核形状可变
- 双线性插值：离散坐标下，可以通过插值方法计算得到连续位置的像素值
- 可学习参数Δαk,Δβk\Delta \alpha_k,\Delta \beta_kΔαk,Δβk
- 可变卷积核形状固定
- 卷积核位置参数化
- 双线性插值连续化
- 传统BP算法训练
偏移示例
可变形卷积 (ICCV 2017) - 3×3 可变形卷积 (N=9) ➢ 每个位置对应一个偏置
- 偏置通过额外卷积学习
- 每个偏置为二维向量
总结
欧式空间卷积神经网络
- 处理固定输入维度数据、局部输入数据必须有序
- 语音、图像、视频（规则结构）满足以上两点要求
非欧式空间结构数据
- 局部输入维度可变
- 局部输入排列无序
第1章：卷积神经网络：从欧氏空间到非欧氏空间相关推荐
- 第五章 卷积神经网络（CNN）
文章目录 5.1 卷积神经网络的组成层 5.2 卷积如何检测边缘信息? 5.3 卷积层中的几个基本参数? 5.3.1 卷积核大小 5.3.2 卷积核的步长 5.3.3 边缘填充 5.3.4 输入和输出 ...
- 《Scikit-Learn与TensorFlow机器学习实用指南》第13章 卷积神经网络
第13章 卷积神经网络 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@akonwang @WilsonQu 校对: @飞龙 尽管 ...
- 第3.1章 卷积神经网络(CNN)——Conv、Pool、FC、Activation Function、BN各个层的作用及原理
第3.1章 卷积神经网络CNN-不同层的作用 一.Convolution(CONV) 二.Pooling(POOL) 三.Fully Connected(FC) 四.Activation Functi ...
- 【图卷积网络】01-卷积神经网络：从欧氏空间到非欧氏空间
人工神经网络发展浪潮 第三次浪潮--卷积神经网络 加拿大多伦多大学教授,机器学习领域泰斗Geoffery Hinton及其学生在<科学>上发表了一篇论文 (Hinton, G. E . R ...
- 深度学习实战 第6章卷积神经网络笔记
第6章 卷积神经网络 **卷积神经网络(Convolutional Neural Network,CNN)**是在实际应用中最为成功的一种神经网络,其专门用于处理格状结构数据,比如图片数据就可以看成是 ...
- 第11章 卷积神经网络（CNNs）
第11章 卷积神经网络(CNNs) 我们回顾了整个机器学习和深度学习知识,现在我们学习CNNs(Convolutional Neural Networks)以及它在深度学习中的作用.在传统的前馈神经网 ...
- 曹健老师 TensorFlow2.1 —— 第五章 卷积神经网络
第一章 第二章 第三章 第四章 本章目的:用图卷积神经网络实现离散数据的分类 ( 以图像分类为例 ) . 5.1 卷积计算过程 在实际项目中,输入神经网络的是具有更高分辨率的彩色图片,使得送入全连接网 ...
- 第十二章 卷积神经网络实战--猫狗识别
1.介绍 我们已经学习了如何用传统的神经网络进行机器学习,在本章我们学习一下如何使用简单的神经网络进行图像分类.数据集用的是Kaggle的猫狗数据集.这里只有前100张,如果需要更多的可以去Kaggl ...
- 用卷积神经网络实现笑脸、非笑脸表情识别
文章目录 一.相关介绍 二.准备工作 1. 环境搭建 2. 数据集准备 三.图片预处理 四.划分数据集 五.创建模型 六.测试 七.总结 八.参考链接 摘要:在日常的沟通与交流过程中,运用面部表情可以 ...
最新文章
- 科大星云诗社动态20210906
- python中的enumerate函数
- Quarkus的其他（非标准）CDI功能
- [JavaScript]让footer总是停留在页面的底部(footer all the way at the bottom of the page)
- 字符串在编号查询中的应用示例及常见问题.sql
- Autoware（2）—加载地图数据
- Python菜鸟入门：day09数据结构
- Message:Unable to locate element 问题解决方法
- 如何设置电脑自动锁屏_Apple ID密码忘了怎么重置？丨如何让面容和指纹解锁立马失效？...
- 条码控件商IDAutomation极大改善了Barcode Image Generator性能
- Android生成签名文件对应用签名 Android签名作用
- 百度地图ipa包使用的Framework解读
- 生态 | 协同办公软件发展任重道远——基于数据库领域视角
- 自锁时间电路plc_自锁与互锁电路的plc梯形图程序【图】
- 服务器1m带宽文件上传好慢,为什么10m光纤宽带上传速度只有1m还不到2m
- PYTORCH中torch.mean(),dim=0,dim=1分别代表什么
- 蓝海创意云丨建筑设计：BIM技术在异形建筑中的应用（以梅溪湖为例）
- Centos 下解压和压缩rar文件
- Process finished with exit code -1073740791 (0xC0000409)报错解决方案
- SoapUI-一款强大的Rest和Soap测试工具