Shady 深度学习课程

第一天基础知识

什么是机器学习？

通过一系列的数据和标签学习到一个模型，对未知的数据进行预测。

近年兴盛的原因：GPU+海量数据

2017年7月26日，一个时代的终结，深度学习的准确率已经超越人类（5.1%）达到了3.57%（2015,ResNet 3.57%），ImageNet比赛已经没有进行的必要了。

深度学习与神经网络

深度学习是通过神经网络来实现的

计算机视觉：让计算机程序有自己的视觉系统，能看懂世界
举例：人脸识别、行人检测

传统的计算机视觉：特征工程+机器学习（提取脸部特征+分类）

如何利用线性分类来区分猫和狗：

利用x和权值w及偏置b的线性函数来求解每个输入的分类后的得分，得分越高，越认为输入为该类。

Softmax：

如何确定w和b是否是最好的？——损失函数

如何优化？——梯度下降

第二天窥探卷积神经网络

一、回顾

1. 使用KNN进行图像分类：

优点：简单清晰，不需要训练，复杂度很低

缺点：预测过程复杂度很高，每个测试图片要和所有的训练图像进行对比，背景和颜色干扰很大。

2. 使用线性分类对图像分类的过程：

设定w和b，得到一个线性输出，经过一个softmax来确定输出的类别概率，利用梯度下降来优化交叉熵损失函数，就是为了找到最优的w和b。

缺点：

训练过程类似于特征工程+机器学习的分类
无法解决线性不可分的问题

3. 利用神经网络搭积木

4. 利用深度学习搭更高的积木

二、深度神经网络

激活函数：加入非线性元素

决策边界较为平滑，解决非线性分类问题

对线性输出做一个非线性变换之后输出

如何预测：

像素值为输入1、-1，随机初始化w和b，圆的左边为线性（wx+b），圆圈的右边为激活函数之后的输出a(wx+b)，

变为矩阵运算：wx+b

训练：反向传播（链式法则）

梯度下降求损失函数的偏导，进行参数的更新

前向传播

反向传播

卷积神经网络

图像的特性：

卷积+池化=特征提取

卷积的过程：

利用卷积核，在图像上横向移动，提取每个子块的特征，生成特征图。

第四天验证码

验证码识别

一、随机生成验证码

利用captcha库生成验证码

TRAIN_SIZE = 50000
VALID_SIZE = 20000
CHAR_SET = '123456789ABCDEFGHIJKLMNPQRSTUVWXYZ'
CHAR_NUM = 5        # 一个验证码有5个字符
IMG_HEIGHT = 60    # 验证码高
IMG_WIDTH = 160     # 验证码长
FONT_SIZES = [40]   # 字体大小

label：因为你知道是怎么生成的，所以是知道label的

保存格式：135AC_num12356.png

随机背景色，随机噪点，随机干扰线，随机取样5个字符，字符会有粘连，不用深度学习的话，前面要先做数据的预处理，要先把噪点等干扰进行处理。

二、将验证码转化独热码

验证码：

1APFV ，一张图中有5个字符

独热码：

label	1	A	F	P	V
1	1	0	0	0	0
A	0	1	0	0	0
P	0	0	0	1	0
F	0	0	1	0	0
V	0	0	0	0	1