Alex网络结构解析

2024-06-12 01:21:22

该网络之所以上下两层是因为采用了两个GPU进行训练，上下层分别代表两个GPU的训练过程，使用两个GPU同时进行训练可以大大提高训练速度。为了容易理解，下面我们只看其中一层网络。
Cov1
输入为224×224×3的图像，卷积核的数量为96，论文中两片GPU分别计算48个卷积核; 卷积核的大小为 11 × 11 × 3 ;stride = 4, stride表示的是步长， padding = [1,2], 表示;
卷积后的图形大小是怎样的呢？
wide = (224 + 2 * padding - kernel_size) / stride + 1 = 55
height = (224 + 2 * padding - kernel_size) / stride + 1 = 55
channel=48

Maxpool1
输入55×55×48的图像;kenel_size=3×3×48;stride=2
池化后的图形大小
wide = (55 + 2 * padding - kernel_size) / stride + 1 = (55+2×0-3)/2+1=27
height = (55 + 2 * padding - kernel_size) / stride + 1 = (55+2×0-3)/2+1=27
channel=128
以此类推出，最后一个全连接层输出的结果为1000个种类
**
注：输入图像通道数等于卷积核的通道数，输出图像的通道数等于卷积核的数量

2.AlexNet优势何在？

01卷积池化并行化

输入图像像素为224×224
把同一层的卷积池化拆成两块，每一块在一个GPU上跑
第一层用的11×11的大卷积对原始图做卷积，
第一层96通道分为两组，每48个放到一个GPU上面，每一个卷积核对上一层输入做卷积核是独立。

02激活函数

激活函数是relu，比饱和函数训练速度更快。
Relu函数公式：f(x)=max(0,x)
函数图像

函数特点：自变量小于0时，函数值为0，自变量大于等于0时，函数值为自变量的值。

03防止过拟合

避免过拟合采用数据增强与dropout防止过拟合

04GPU加速

采用GPU实现，并行化进行模型训练。

Alex网络结构解析相关推荐

YOLO系列 --- YOLOV7算法（四）：YOLO V7算法网络结构解析
YOLO系列 - YOLOV7算法(四):YOLO V7算法网络结构解析今天来讲讲YOLO V7算法网络结构吧~ 在train.py中大概95行的地方开始创建网络,如下图(YOLO V7下载的时间不 ...
yolov4 网络结构解析
YOLO V4 - 网络结构和损失函数解析(超级详细!) - 知乎 (zhihu.com) 1.前言最近用YOLO V4做车辆检测,配合某一目标追踪算法实现车辆追踪+轨迹提取等功能,正好就此结合论文 ...
CNN 常用网络结构解析 1x1 卷积运算示意图
AlexNet 网络结构: VGG : conv3x3.conv5x5.conv7x7.conv9x9和conv11x11,在224x224x3的RGB图上(设置pad=1,stride=4,outp ...
强化学习 ---baselines项目之 Atari游戏的网络结构解析
这个baselines项目设计的比较灵活,结构有点复杂.由于项目庞大,各个函数之间又是相互调用,有时候从一个函数追溯下去,可以追溯6,7层,每个函数的超参数又特别多,很容易把人搞晕. 接下 ...
Alex网络结构详解
网络结构及算法详解: 参考: http://www.cnblogs.com/gongxijun/p/6027747.html http://blog.sina.com.cn/s/blog_eb3aea ...
WiFi 的起源、发展、信道划分及网络结构解析
Wi-Fi 的发源地 Wi-Fi 的发源地是夏威夷,Wi-Fi 是一种无线局域网协议.而对于网络协议中的多址接入协议的历史可以追述到 1971 年的 ALOHAnet,按照 WiKi 的记录,ALOH ...
LeNet-5网络结构解析
参考文章: 文章1 文章2 文章3 特殊性神经元间的连接是非全连接的同一层中某些神经元之间的连接的权重是共享的(即相同的) 权值共享使用同一个Kernel 池化转:http://blog.cs ...
最新｜全新风格原创YOLOv7、YOLOv5和YOLOX网络结构解析图
cnn stride and padding_经典CNN网络解析
NIN网络-Network In Networkblog.csdn.net 梦里寻梦:(四十二)通俗易懂理解--CNN网络框架演进:LeNet至DenseNetzhuanlan.zhihu.com ...

最新文章

热门文章