cs231n笔记总结

cs231n的课程以及作业都完成的差不多了，后续的课程更多的涉及到卷积神经网络的各个子方向了，比如语义分割、目标检测、定位、可视化、迁移学习、模型压缩等等。assignment3有涉及到这些中的一部分，但需要深入了解的话还是得看论文了。所以在看论文前把之前已学的知识，笔记和作业代码一起做个整理。
博客里主要是自己在这个过程中做的笔记，其中很多直接贴的知乎上的翻译版note，作业放在github上https://github.com/PanXiebit/cs231n.git

01.Python Numpy Tutorial

dict中元素的访问
lambda\ reduce\enumerate的使用
element wise\dot()\multiply的区别
broadcasting　广播机制，这个很重要
scipy 科学计算库，这里主要用到的是图像处理
matplotlib

02.线性分类器

线性分类器的原理及解释
两种损失函数SVM和softmax
范式正则化

03.最优化－求梯度

损失函数可视化
有限插值法求梯度
微分法求梯度:以softmax为例进行了推导

04.logistic回归以及反向传播

05.神经网络的结构

神经网络的生物理解
常用激活函数sigmoid\relu\tanh
神经网络层数越多越好吗？
神经网络层数以及神经元的个数

06.训练一个神经网络１
batch_size\iteration\epoch区别

07.训练一个神经网络2

数据预处理
- 归一化、降维
权重参数初始化
批量归一化 Batch Normalization
正则化
- L1,L2正则化
- Dropout和反向Dropout
属性分类：一个样本有多个标签
偏差和方差

08.训练一个神经网络３－优化算法optimal

sgd
momentum
RMSprop
Adam
学习率衰减
局部最优化local optimal(貌似最近在微信上看到一篇文章将怎么避开鞍点的)

09.训练神经网络４－超参数调试

超参数调试技巧
Batch Normalizaton再解析

10.训练神经网络５－小技巧

-　狠狠狠重要，狠狠狠玄学

11.卷积神经网络

卷积层
卷积层为啥好：参数共享、稀疏连接
参数计算
padding
1x1 convolution
pooling
全连接层和卷积层的转换
Cpython加速

12.检测、定位、分割

13.可视化及可解释性

cs231n笔记总结相关推荐

cs231n笔记：线性分类器
cs231n线性分类器学习笔记,非完全翻译,根据自己的学习情况总结出的内容: 线性分类本节介绍线性分类器,该方法可以自然延伸到神经网络和卷积神经网络中,这类方法主要有两部分组成,一个是评分函数(sc ...
CS231n笔记-CNN网络结构
所有图片来自PPT官网Index of /slides/2022 代码:Batch Normalization和Dropout_iwill323的博客-CSDN博客目录全连接层存在的问题卷积层 ...
cs231n笔记--到底什么是梯度消散
笔记来自 CS231n Winter 2016: Lecture 4: Backpropagation, Neural Networks 内容地址为:http://www.microsofttran ...
cs231n笔记5—反向传播/神经网络
反向传播神经网络反向传播问题陈述:这节的核心问题是,给定函数f(x),其中x是输入数据的向量,需要计算函数f关于x的梯度,也就是∇f(x). 反向传播是利用链式法则递归计算表达式的梯度的方法.理 ...
cs231n笔记阅读
学习要趁早,结果就是现在资源已经下架了感谢https://blog.csdn.net/hwl19951007/article/details/81570225的整理本篇文章只是个人学习的过程,划了 ...
斯坦福李飞飞CS231n笔记1计算机视觉概述与历史背景
历史背景视觉处理是始于视觉世界的简单结构,面向边缘,沿着视觉处理途径的移动,信息也在变化,大脑建立了复杂的视觉信息,直到可以识别更为复杂的视觉世界 1.block world 视觉世界被简化为简单的 ...
Cs231n笔记--图像分割和目标检测
所有图片均来自官方PPT网站Index of /slides/2022 目录语义分割Semantic Segmentation 方法推演上采样转置卷积 Object Detection Sing ...
cs231n笔记：lecture2，lecture3
image classification 图像分类问题就是为输入图像从一组给定的类别中为其分配一个标签的问题,这是计算机视觉领域的核心任务之一,尽管他很简单但却有很多种实际应用,许多看似不同的其他计算 ...
CS231n笔记十：循环神经网络
一.循环神经网络 Recurrent nerual network 特点:输入/输出是长度可变的序列.在CV中,最常见的RNN的应用领域就是视频处理(如many to one的RNN,可以输入一段视频 ...

cs231n笔记总结

cs231n笔记总结相关推荐

最新文章

热门文章