卷积层网络CNN初学笔记（简单代码）

学习网站：https://www.bilibili.com/video/av20542427?p=20

传统神经网络：权值太多，计算量太大，需要大量样本进行训练。

卷神经网络CNN:通过感受野和权值共享减少了神经网络需要的训练个数。

卷积核：相当于一个滤波器，不同卷积核对物体进行不同的特征采样。

池化层：降维，缩小特征图。三种方式：1.最大，2.平均， 3.随机。

对卷积层的操作：same padding：给平面外部补0，卷积窗口采样后得到一个跟原来平面大小相同的平面。

valid padding ：不会超出平面外部，卷积窗口采样后得到一个比原来平面小的平面。

对池化层操作：same padding：可能给平面外部补0

alid padding ：不会超出平面外部

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)#每个批次大小
batch_size = 100
#计算一共有多少批次
n_batch = mnist.train.num_examples // batch_size#初始化权值
def weight_variable(shape):return tf.Variable(tf.truncated_normal(shape,stddev=0.1))#初始化偏置值
def bias_vairable(shape):return tf.Variable(tf.constant(0.1, shape=shape))#卷积层
def conv2d(x,W):return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')#用到tensorflow里面的一个库conv2d,2维卷积操作，strides是步长#池化层
def max_pool_2x2(x):return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')#用的是最大池化，#ksize是窗口大小第一四个必须是1中间是xy方向大小
#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784])#28*28
y = tf.placeholder(tf.float32,[None,10])#改变x的格式转化为4d向量【batch,in_hight, in_width, in_channels】
x_image = tf.reshape(x,[-1,28,28,1])#批次会自动变， ， ，灰色#初始化第一个卷积层的权值和偏置
W_conv1 = weight_variable([5,5,1,32]) # 5*5的采样窗口，32个卷积核从1个平面抽取特征
b_conv1 = bias_vairable([32]) #每个卷积核一个偏置值#把x_image和权值向量进行卷积，再加上偏置值，然后用relu激活函数
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)# 28*28*1 的图片卷积之后变为28*28*32，【注】传到上面卷积层中
h_pool1 = max_pool_2x2(h_conv1)#进行max-pooling 池化之后变为 14*14*32{注}传到池化层#初始化第二个卷积层的权值和偏置值
W_conv2 = weight_variable([5,5,32,64])# 5*5的采样窗口，32个卷积核从64个平面抽取特征
b_conv2 = bias_vairable([64])#每个卷积核一个偏置值#把h_pool1和权值向量进行卷积，再加上偏置值，然后应用于relu激活函数
h_conv2 = tf.nn.relu(conv2d(h_pool1,W_conv2) + b_conv2)# 第二次卷积之后变为 14*14*64
h_pool2 = max_pool_2x2(h_conv2)#进行max-pooling  第二次池化之后变为 7*7*64#28*28的如片第一次卷积后还是28*28因为用的same padding，第一次池化后变为14*14
#第二次卷积后为14*14，第二次池化后变为7*7 池化层有个作用是降维并且我们用的步长是2
#经过上面操作后得到64张7*7的平面# 第一个全连接层
W_fc1 = weight_variable([7*7*64,1024])#上一层有7*7*64个神经元，全连接层有1024个神经元
b_fc1 = bias_vairable([1024])#有1024个节点# 7*7*64的图像（池化层2的输出）变成1维向量
h_pool2_flat = tf.reshape(h_pool2,[-1,7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)#求第一个全连接层的输出#用keep_prob来表示神经元的输出概率
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)# 第二个全连接层
W_fc2 = weight_variable([1024,10])
b_fc2 = bias_vairable([10])#计算输出
logits = tf.matmul(h_fc1_drop,W_fc2) + b_fc2
prediction = tf.nn.sigmoid(logits)#交叉熵代价函数
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=logits))
#使用AdamOptimizer进行优化
train_step = tf.train.AdamOptimizer(0.001).minimize(loss)
#结果放在一个布尔列表中
prediction_2 = tf.nn.softmax(prediction)
correct_prediction = (tf.equal(tf.argmax(prediction_2,1), tf.argmax(y,1)))
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))with tf.Session() as sess:sess.run(tf.global_variables_initializer())for epoch in range(21):for batch in range(n_batch):batch_xs, batch_ys = mnist.train.next_batch(batch_size)sess.run(train_step, feed_dict={x:batch_xs,y:batch_ys,keep_prob:0.7})acc = sess.run(accuracy, feed_dict={x:mnist.test.images, y:mnist.test.labels, keep_prob:1.0})print("Iter: " + str(epoch) + ", acc: " + str(acc))

tensorflowgpu运行

结果：

卷积层网络CNN初学笔记（简单代码）相关推荐

基于蜜蜂优化算法优化的卷积神经网络（CNN）图像分类——附代码
目录摘要: 1.蜜蜂优化算法: 2. 卷积神经网络(CNN) 输入层隐含层输出层 3. 本文Matlab代码: 摘要: 本文通过蜜蜂优化算法,优化了卷积神经网络(CNN)中的超参数,主要是网 ...
读《多头自注意力层和卷积层的关系》笔记
这是一篇2020年ICLR会议的文章,链接如下 https://iclr.cc/virtual_2020/poster_HJlnC1rKPB.html 摘要: (多头自)注意力层可以执行卷积 (拥有足 ...
【CS231n】五、卷积神经网络简介CNN学习笔记_一只神秘的大金毛_新浪博客
1.历史简介 The Mark 1 Perceptron machine was the first implementation of the perceptron algorithm. 其只有f ...
【CS231n】五、卷积神经网络简介CNN学习笔记
1.历史简介 The Mark 1 Perceptron machine was the first implementation of the perceptron algorithm. 其只有f ...
UNIX网络编程学习笔记（代码超详细解析）（持续更新）
1. 其他函数准备 1. TCP 回射服务器程序: str_echo 函数 #include "unp.h"void str_echo(int sockfd) {ssize_t n ...
CNN逆卷积层（ConvTranspose2d）输出有马赛克网格
问题描述最近在训练卷积神经网络(CNN)时,只要使用逆卷积层(PyTorch中为ConvTranspose2d)进行上采样,输出图像中总会出现如下图所示的马赛克纹理,而且异常明显: 分析虽然Dec ...
【深度学习】越来越卷，教你使用Python实现卷积神经网络（CNN）
@Author:Runsen https://blog.csdn.net/weixin_44510615/article/details/117409037 卷积神经网络 Yann LeCun 和Yo ...
DL基石-卷积神经网络（CNN）简易教程
本篇文章我们将学习什么是CNN, CNN如何利用大脑的启发进行物体识别,CNN是如何工作的. 让我们来了解一下我们的大脑是如何识别图像的根据诺贝尔奖获得者Hubel和Wiesel教授的说法,视觉区域 ...
卷积层与全连接层的区别
卷积层.池化层.全连接层的概念:https://towardsdatascience.com/convolutional-neural-network-17fb77e76c05 关于卷积.全连接层的参 ...

卷积层网络CNN初学笔记（简单代码）

卷积层网络CNN初学笔记（简单代码）相关推荐

最新文章

热门文章