前馈神经网络与支持向量机实战 — 手写数字识别

文章目录

前馈神经网络与支持向量机实战 --- 手写数字识别
- 一、前馈神经网络介绍
- 二、支持向量机介绍
- 三、数据集说明
- 四、环境准备
- 五、实验要求
- 六、Python代码
- - tutorial_minst_fnn-keras.py：使用TensorFlow的Sequential实现的前馈神经网络
  - tutorial_minst_fnn-tf2.0.py：使用TensorFlow的基础功能实现前馈神经网络
  - SVM_sklearn.py：使用sk-learn实现支持向量机
  - tutorial_minst_fnn-numpy.py：手写实现前馈神经网络（仅使用numpy，包括手写反向传播算法求解过程）
  - SVM_manual.py：手写支持向量机（包括支持向量机的优化算法——SMO算法）
- 七、实验结果分析

一、前馈神经网络介绍

前馈神经网络（feedforward neural network，FNN）,是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈,信号从输入层向输出层单向传播。

前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层。也可以是多层。

一个典型的多层前馈神经网络如下图所示:

对于前馈神经网络结构设计，通常采用的方法有3类：直接定型法、修剪法和生长法。

关于神经网络的知识其实很多,这里也不展开进行叙述了.

⭐⭐⭐⭐⭐推荐参考书籍: 神经网络与深度学习nndl-book .

(邱锡鹏教授的《神经网络与深度学习》一书较全面地介绍了神经网络、机器学习和深度学习的基本概念、模型和方法，同时也涉及深度学习中许多最新进展．书后还提供了相关数学分支的简要介绍，以供读者需要时参考)

二、支持向量机介绍

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）

简单来说, 支持向量机(SVM)是一种求解二分类问题的算法，其核心思想为使用一线性超平面将两类样本分开并使得两类样本与该超平面间的“间隔”最大。

对于非线性可分（无法找到可将两类样本分开的超平面）的样本集。SVM 采用核技巧将样本映射到更高维的空间上。已经证明，存在原样本空间到希尔伯特空间的一个映射，使样本线性可分。

对于