CNN网络：MINST数据集的练习
学习课程：B站刘二大人
评价：简单易懂
主题：Pytorch相关课程
内容：CNN的架构与GoogleNet、ResidualNet的构建
数据集：MINST手写数字集
笔记：
1.首先是建立数据集，先要dataset，然后dataload，不多说。
2.然后是建立神经网络模型。用一个或几个类来完成这个任务。
CNN:最简单的模型，卷积加池化加relu最后全连接层就ok。在这个类里面，有一个初始化函数来定义这些神经网络的数据层，下面来一个前馈函数来操作数据前进方向。
GoogleNet ：有4条通路通向最终的数据，最终会把4个通路上88个通道 的数据粘起来，这意味着数的宽高都一样，还应用了1×1的卷积核，有数据聚合和减少计算量的作用，他相当与把数据压缩又放大，减少通道量又增加，所以减少了数据量。可以把他设计成一个Inception模块。
ResidualNet:防止梯度爆炸，设计的一个加上x再relu的跳跃环节，有效缓解梯度爆炸。
应用3个网络对MINST数据集进行学习
LOSS Accruacy
CNN 0.042 98.760%
googlenet 0.032 98.750%
residualnet 0.006 99.090%
residualnet的网络表现稍好一些能够突破到99%
3.损失函数为交叉熵函数，选取一个优化器。明显，损失函数是一个网络的灵魂，yolo算法里就应用了作者自己设计的损失函数。但是总之他是表征模型与真实模型的差距，恕我只能从字面上理解他，没法在数学上了解的更深。
4训练和测试函数
训练函数：
loss、先设为0，导入数据，清零梯度再引入模型，得到损失函数，反馈回去backward，更新梯度就ok
测试函数：不需要有梯度，argmax找到最大预测值。
CNN网络：MINST数据集的练习相关推荐
- 【Pytorch分布式训练】在MNIST数据集上训练一个简单CNN网络，将其改成分布式训练
文章目录 普通单卡训练-GPU 普通单卡训练-CPU 分布式训练-GPU 分布式训练-CPU 租GPU服务器相关 以下代码示例基于:在MNIST数据集上训练一个简单CNN网络,将其改成分布式训练. 普 ...
- PyTorch中CNN网络参数计算和模型文件大小预估
前言 在深度学习CNN构建过程中,网络的参数量是一个需要考虑的问题.太深的网络或是太大的卷积核.太多的特征图通道数都会导致网络参数量上升.写出的模型文件也会很大.所以提前计算网络参数和预估模型文件大小 ...
- 学术 | 一种新的CNN网络可以更高效地区分自然图像生成图像
作者 | Weize Quan , Kai Wang, Dong-Ming Yan , Xiaopeng Zhang 译者 | linstancy 编辑 | Jane 出品 | AI 科技大本营 [导 ...
- 用特征迭代次数区分minst数据集的0和1
既然前面大量的实验都证明了,对于特定结构特定收敛标准的网络的收敛迭代次数是特征的,而这个值和输入有关,那能不能用这个特性去用来对输入进行分类. 本文制作了一个81*11*11-11*11*1的网络 让 ...
- 如何在不同摄像头里识别行人？多层相似度感知CNN网络解析
阿里妹导读:行人重识别是指给定一个摄像头下某个行人的图片,在其他摄像头对应的图片中准确地找到同一个人.行人重识别技术有十分重要的科研和实际应用价值,近来广泛应用到交通.安防等领域,对于创建平安城市.智 ...
- 【深度学习系列】用PaddlePaddle和Tensorflow实现经典CNN网络AlexNet
上周我们用PaddlePaddle和Tensorflow实现了图像分类,分别用自己手写的一个简单的CNN网络simple_cnn和LeNet-5的CNN网络识别cifar-10数据集.在上周的实验表现 ...
- tf.keras CNN网络搭建笔记
tf.keras CNN网络搭建笔记 这里写目录标题 tf.keras CNN网络搭建笔记 基本流程,以LeNet为例 创建Sequential模型 配置模型的学习流程 数据预处理 模型训练与验证 相 ...
- pytorchgpu测试_pytorch学习(十)—训练并测试CNN网络
前言 学习pytorch已经一周了,pytorch官网的示例代码基本上都敲了一遍,关于tensor的使用,数据集,网络定义等.和之前学习caffe痛苦的经历相比,pytorch对常用的操作都进行了封装 ...
- 抽取CNN网络任意层的特征，VGG模型fine-tuning实践
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程 公众号:datayx 作为迁移学习的一种,finetune能够将general的特征转变为special的特征,从而 ...
- pytorch基于GAN生成对抗网络的数据集扩充
文章目录 前言 一.GAN基本原理 1.结构图 2.目标函数 二.实现 1.实现流程图 2.实例 2.1采集少量原始数据 2.2GAN模型训练(注意修改图片路径) 2.3用训练好的模型扩充数据集(生成 ...
最新文章
- Linux_Bash脚本基础
- 【软件构造】第三章第三节 抽象数据型(ADT)
- Simulink代码生成： 延时模块及其代码
- Spring管理事务的若干配置形式
- RocketMQ为什么速度快
- 概括ADO.NET数据库连接的所有形式(基础）
- 连接hadoop java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binarie
- html 常用字符,html 常用特殊字符
- 作业四 | 个人项目-小学四则运算 “软件”之初版
- ASP.NET性能监控和优化入门
- 机器学习实战—朴素贝叶斯及要点注解
- Linux下gcc/g++、make和cmake的区别
- “CAIL 2021中国法律智能技术评测”第二赛段已全面开启！
- Activiti6--入门学习--中间事件
- k8s cpu 和内存资源说明
- 【Response】全面总结并理解response
- RTK模块性能测试分析对比-GNSS实测- RTK板卡100赫兹延迟实测及分析
- iOS毛玻璃磨砂特效
- Python获取Win7，Win10系统缩放大小
- 拓嘉恒业：拼多多开店条件分享