有幸拜读大佬言有三的书《深度学习之模型设计》,以下是我的读书笔记，仅供参考，详细的内容还得拜读原著，错误之处还望指正。

《深度学习之模型设计》读书笔记——第一章：神经网络和计算机视觉基础

文章目录

《深度学习之模型设计》读书笔记——第一章：神经网络和计算机视觉基础
- 1.1计算机视觉
- - 1.1.1研究视觉的重要性
  - 1.1.2 生物学视觉原理与视觉分层理论
- 1.2数字图像基础概述
- - 1.2.1数字图像基础概述
  - 1.2.2数字图像处理基础
- 1.3神经网络基础
- - 1.3.1生物神经元与人工神经网络
  - 1.3.2感知机是神经网络吗
  - 1.3.3BP算法

1.1计算机视觉

定义：指用计算机来模拟人的视觉以获取和处理一系列图像信息。
内容：包含从底层特征提取到各种任务的高层次感知的整个过程。

1.1.1研究视觉的重要性

人获取信息主要依靠视觉
计算机视觉是深度学习技术应用最广的领域
计算机视觉也是人工智能行业中从业者人数最多的方向

1.1.2 生物学视觉原理与视觉分层理论

1.感受野
On型感受野：作用强的中心兴奋区域和作用较弱但面积更大的周边抑制区域构成的同心圆结构。
Off型感受野：中心抑制区域和周边兴奋区域构成的同心圆结构。
作用：当用面积正好可覆盖On型感受野中心的光斑刺激感受野时，细胞得到最大兴奋型反映；当用大面积的弥散光照射On型感受野时，细胞被抑制。Off型感受野反之。

2.视觉机制

视觉细胞类型：
(1)简单细胞：可被其感知区域内具有特定方向的线条最大化激活。
(2)复杂细胞：具有较大感受野，其输出对边缘的确切位置不敏感。
重要结论：
(1)方向选择性：神经元细胞的激活来自某个特定方向的边缘对比度的变化，与绝对的亮度值无关。
(2)并行处理：视觉信息通过颜色、深度、运动和形状等独立的通道进行加工。并且，在视觉处理过程中，信息被先分解后整合。
视觉分层理论：
初级视觉 (提取底层特征，如简单的边缘信息) ⇒\Rightarrow⇒ (完成目标识别，描述方向、轮廓、深度等高级抽象的信息) ⇒\Rightarrow⇒高级视觉 (重建三维表达)

1.2数字图像基础概述

1.2.1数字图像基础概述

1.数字图像起源
图像的含义：
图：一直客观存在的光的分布。
像：图在人脑中的印象。

2.灰度量化与对比度
(1)灰度量化：0~255灰度，0最暗，255最亮。
(2)对比度：马赫带现象与伪边缘效应：人眼在亮的一侧感受到的亮度比实际的灰度更亮，暗侧反之，即主观地增强了边缘对比度。——表明人眼对不连续的东西最敏感。

3.分辨率
(1)图像分辨率(PPI)：
定义：指每英寸的像素数
(2)输出分辨率(DPI)：
定义：指设备输出图像时每英寸可产生的点数

4.彩色空间
分类：RGB、Lab、HSV/HSB、CMYK、YUV 等

1.2.2数字图像处理基础

1.直方图：前景：图中灰度高峰；背景：其他。

2.边缘：
边缘检测方法：
分类：
(1)基于一阶导数
(2)基于二阶导数
代表性方法：Roberts算子、Prewitt算子、Sobel算子、Laplacian算子、Canny算子。

3.对比度：
对比度调整方法：线性拉伸变换、伽马变换、直方图均衡化。

4.清晰度：
定义：指边缘附近的灰度对比。
增加清晰度的方法：锐化等。
降低清晰度的方法：降低图像分辨率、增加模糊等。

5.数字图像处理与计算机视觉的联系：

两者的学科基础理论相似，在技术和应用领域很多重叠。
前者更注重底层图像变换，后者更注重高层感知。

1.3神经网络基础

1.3.1生物神经元与人工神经网络

人工神经网络的设计在很多地方并不遵循生物神经元的原理，但它确实是受生物神经网络的启发产生的。

1.3.2感知机是神经网络吗

感知机是指单层的人工神经网络。

感知机的计算公式： y=f(∑i=1nwi⋅xi−θ)y = f(\sum_{i=1}^n wi\cdot xi -\theta\text{})y=f(∑i=1nwi⋅xi−θ) , yyy为输出，f()f()f()为激活函数，XXX为输入向量，WWW为权值向量，θ\thetaθ为常数, lrlrlr为学习率。

权重WWW更新方式：new_wiwiwi = wiwiwi + lrlrlr(yyy - y^\hat{y}y^)xixixi

学习的参数：WWW、θ\thetaθ、偏差BBB 。

缺点：只能处理线性分类问题。

1.3.3BP算法

模型图形不再赘述

算法推导：

符号定义
wjilw^l_{ji}wjil	第iii个神经元到第jjj个神经元的连接权值
xjlx^l_jxjl	第lll层第jjj个神经元的输入
yjly^l_jyjl	第lll层第jjj个神经元的输出
XXX	表示一个单独的训练样本
YYY	表示XXX对应的标签
yLy^LyL	表示预测结果
θjl\theta^l_jθjl	第lll层第jjj个神经元的偏置
CCC	代价函数
δjl\delta^l_jδjl	第lll层第jjj个神经元的误差
f()f()f()	表示激活函数，如Sigmoid
α\alphaα	学习率

数学知识补充：P范数： ∣∣X∣∣||X||∣∣X∣∣ p_pp = (∑i=1nxiP)1/P(\sum_{i=1}^n xi^P\text{})^{1/P}(∑i=1nxiP)1/P ，其中，P=2P = 2P=2 时为2范数，也称欧几里得范数。

两个起始的重要公式镇楼：
xjl=∑i=1kwijlyil−1+θjlx^l_j = \sum_{i=1}^k w^l_{ij}y^{l-1}_i+\theta^l_jxjl=∑i=1kwijlyil−1+θjl ——(1)
yjl=f(xjl)y^l_j=f(x^l_j)yjl=f(xjl) ——(2)
代价函数：
C=12∣∣Y−yL∣∣2C=\frac{1}{2}||Y-y^L||^2C=21∣∣Y−yL∣∣2
下面推导误差：
误差定义：δjl=∂C∂xjl\delta^l_j=\frac{\partial C}{\partial x^l_j}δjl=∂xjl∂C
由链式法，结合公式(2)推导： δjl=∂C∂xil=∑i∂C∂xil+1∂xl+1∂xil=∑i∂xl+1∂xjlδil+1\delta^l_j=\frac{\partial C}{\partial x^{l}_i}=\sum^i\frac{\partial C}{\partial x^{l+1}_i} \frac{\partial x^{l+1}}{\partial x^l_i}=\sum^i\frac{\partial x^{l+1}}{\partial x^l_j}\delta^{l+1}_iδjl=∂xil∂C=∑i∂xil+1∂C∂xil∂xl+1=∑i∂xjl∂xl+1δil+1——(3)，下面推导∂xil+1∂xjl\frac{\partial x_i^{l+1}}{\partial x_j^l}∂xjl∂xil+1：
由xil+1x_i^{l+1}xil+1是xjlx_j^lxjl的函数，结合公式(1)继续推导：xil+1=∑jwijl+1yjl+θil+1=∑jwijl+1f(xjl)+θil+1x_i^{l+1}=\sum^jw_{ij}^{l+1}y_j^l+\theta_i^{l+1}=\sum^jw_{ij}^{l+1}f(x_j^{l})+\theta_i^{l+1}xil+1=∑jwijl+1yjl+θil+1=∑jwijl+1f(xjl)+θil+1
对xjlx_j^lxjl求偏导得：∂xil+1∂xjl=wijl+1f′(xjl)\frac{\partial x_i^{l+1}}{\partial x_j^l}=w_{ij}^{l+1}f^{'}(x_j^l)∂xjl∂xil+1=wijl+1f′(xjl)——(4)
将公式(4)带入公式(3)得：δjl=∑iwijl+1f′(xjl)δjl+1\delta^l_j=\sum^iw_{ij}^{l+1}f^{'}(x_j^l)\delta^{l+1}_jδjl=∑iwijl+1f′(xjl)δjl+1
下面推导权值更新：
权值更新规则：wjil=wjil−α∂C∂wjilw_{ji}^l=w_{ji}^l-\alpha\frac{\partial C}{\partial w_{ji}^l}wjil=wjil−α∂wjil∂C——(5); θjl=θjl−α∂C∂θjl\theta_j^l=\theta_j^l-\alpha \frac{\partial C}{\partial \theta^l_j}θjl=θjl−α∂θjl∂C——(6)
下面推导∂C∂wjil\frac{\partial C}{\partial w_{ji}^l}∂wjil∂C和∂C∂θjl\frac{\partial C}{\partial \theta^l_j}∂θjl∂C:
对于∂C∂wjil\frac{\partial C}{\partial w_{ji}^l}∂wjil∂C：由公式(1)得：∂C∂wjil=∂C∂xjl∂xji∂wjil=δjlyil−1\frac{\partial C}{\partial w_{ji}^l}=\frac{\partial C}{\partial x_j^l} \frac{\partial x_j^i}{\partial w_{ji}^l}=\delta_j^ly_i^{l-1}∂wjil∂C=∂xjl∂C∂wjil∂xji=δjlyil−1———(7)
对于∂C∂θjl\frac{\partial C}{\partial \theta^l_j}∂θjl∂C：∂C∂θjl=∂C∂xjl∂xjl∂θjl=δjl\frac{\partial C}{\partial \theta^l_j}=\frac{\partial C}{\partial x^l_j}\frac{\partial x_j^l}{\partial \theta_j^l}=\delta_j^l∂θjl∂C=∂xjl∂C∂θjl∂xjl=δjl——(8)
将公式(7),(8)分别带入公式(5)(6)得：
wjil=wjil−α∂C∂wjil=wjil−αδjlyil−1w_{ji}^l=w_{ji}^l-\alpha\frac{\partial C}{\partial w_{ji}^l}=w_{ji}^l-\alpha \delta_j^ly_i^{l-1}wjil=wjil−α∂wjil∂C=wjil−αδjlyil−1
θjl=θjl−α∂C∂θjl=θjl−αδjl\theta_j^l=\theta_j^l-\alpha \frac{\partial C}{\partial \theta^l_j}=\theta_j^l-\alpha \delta_j^lθjl=θjl−α∂θjl∂C=θjl−αδjl

内容未完待续，后续内容请关注CSDN本专栏
更多内容请关注公众号

灰度量化、图像分辨率、人工神经网络、BP网络——神经网络和计算机视觉基础总结相关推荐

神经网络 - RBF神经网络与BP网络优缺点比较 - 机器学习基础知识
RBF神经网络与BP神经网络优缺点比较 1. RBF 的泛化能力在多个方面都优于BP 网络, 但是在解决具有相同精度要求的问题时, BP 网络的结构要比RBF 网络简单. 2. R ...
人工神经网络与bp神经网络,BP神经网络算法原理
BP神经网络原理人工神经网络有很多模型,但是日前应用最广.基本思想最直观.最容易被理解的是多层前馈神经网络及误差逆传播学习算法(ErrorBack-Prooaeation),简称为BP网络. 在19 ...
基于神经网络的图像识别,神经网络算法识别图像
数据处理 4.3.1 数据源情况4.3.1.1 卫星影像数据情况本项目数据源是由国土资源部信息中心提供的 2005-2007 年 SPOT 5_2.5 m 分辨率影像数据. 覆盖工作区的 SPOT 5 ...
神经网络图像细节分析,神经网络图像相似度
如何通过人工神经网络实现图像识别神经网络实现图像识别的过程很复杂.但是大概过程很容易理解.我也是节选一篇图像识别技术的文章,大概说一下.图像识别技术主要是通过卷积神经网络来实现的. 这种神经网络的优 ...
bp神经网络和神经网络,bp神经网络的应用领域
BP人工神经网络人工神经网络(artificialneuralnetwork,ANN)指由大量与自然神经系统相类似的神经元联结而成的网络,是用工程技术手段模拟生物网络结构特征和功能特征的一类人工系统 ...
人工神经网络可视化,图神经网络可视化
三维可视化前景如何?好找工作吗? . 你可以先去[绘学霸]网站找"3d建模"板块的[免费]视频教程-[点击进入]完整入门到精通视频教程列表:;tagid=307&zdhhr ...
人工神经网络的发展趋势,神经网络前沿理论研究
神经网络的发展趋势如何? . 神经网络的云集成模式还不是很成熟,应该有发展潜力,但神经网络有自己的硬伤,不知道能够达到怎样的效果,所以决策支持系统中并不是很热门,但是神经网络无视过程的优点也是无可替代 ...
人工神经网络的功能特点,神经网络的优缺点
神经网络优缺点, 优点:(1)具有自学习功能.例如实现图像识别时,只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别类似的图像.自学习功能对于预测有特 ...
手撕BP网络，你值得拥有！
本文货很干,自己挑的文章,含着泪也要读完! 一.认识BP神经网络 BP网络(Back-ProPagation Network)又称反向传播神经网络,分为两个过程:(1)工作信号正向传递子 ...

灰度量化、图像分辨率、人工神经网络、BP网络——神经网络和计算机视觉基础总结