Python实现手写数字的识别

一、神经网络算法

1.多层向前神经网络(Multilayer Feed-Forward Neural Network)

Backpropagation被使用在多层向前神经网络上

多层向前神经网络由以下部分组成：输入层(input layer),隐藏层(hidden layers),输入层(output layers)，每层由单元(units)组成。

输入层(input layer)是由训练集的实例特征向量传入，经过连接结点的权重(weight)传入下一层，一层的输出是下一层的输入，隐藏层的个数可以是任意的，输入层有一层，输出层有一层，每个单元(unit)也可以被称作神经结点,根据生物学来源定义，一层中加权的求和，然后根据非线性方程转化输出。作为多层向前神经网络，理论上，如果有足够多的隐藏层(hidden layers) 和足够大的训练集,可以拟出任何方程。

2.利用 Backpropagation算法来设计神经网络
（1）通过迭代性的来处理训练集中的实例
（2）对比经过神经网络后输入层预测值(predicted value)-与真实值(target value)之间
（3）反方向(从输出层=>隐藏层=>输入层)来以最小化误差(error)来更新每个连接的权重(weight)
（4）算法详细介绍
输入: D:数据集，1学习率(learning rate)，一个多层前向神经网络
输入: 一个训练好的神经网络(a trained neural network)
4.1初始化权重(weights)和偏向(bias):随机初始化在-1到1之间，或者-0.5到0.5之间，每个单元有
一个偏向
4.2对于每一个训练实例X，执行以下步骤:
4.3由输入层向前传送

4.4根据误差（erro)反向传送

输出层：

Ej = Oj(1-Oj)(Tj-Oj) Oj为计算值，Tj为真实值，Ej为每层误差

隐藏层：

Ej = Oj(1-Oj) $\sum_{k}^{}\: E\, jO\ j$

权重更新：

$\Delta w_{ij}=\left ( l\right )E_{j}O_{j}$

$w_{ij}=w_{ij}+\Delta w_{ij}$

偏向更新：

$\Delta \Theta _{j}=\left ( l \right )E_{j}$ $\Theta _{j}=\Delta \Theta _{j}+\Theta _{j}$

（5）终止条件
5.1 权重的更新低于某个阈值
5.2预测的错误率低于某个阈值
5.3达到预设一定的循环次数

import numpy as npdef tanh(x):#双曲线函数return np.tanh(x)def tanh_deriv(x):#双曲线函数的导数return 1.0 - np.tanh(x)*np.tanh(x)def logistic(x):#逻辑函数return 1/(1 + np.exp(-x))def logistic_derivative(x):#逻辑函数的导数return logistic(x)*(1-logistic(x))class NeuralNetwork:#定义了一个关于神经网络的算法类def __init__(self, layers, activation='tanh'):#构造函数""":param layers: A list containing the number of units in each layer.Should be at least two values:param activation: The activation function to be used. Can be"logistic" or "tanh""""if activation == 'logistic':#判断所使用函数的类型self.activation = logisticself.activation_deriv = logistic_derivativeelif activation == 'tanh':self.activation = tanhself.activation_deriv = tanh_derivself.weights = []#定义了一个自身的权重for i in range(1, len(layers) - 1):self.weights.append((2*np.random.random((layers[i - 1] + 1, layers[i] + 1))-1)*0.25)self.weights.append((2*np.random.random((layers[i] + 1, layers[i + 1]))-1)*0.25)def fit(self, X, y, learning_rate=0.2, epochs=10000):#设定epochs为循环的最高次数，即到最高时就直接结束循环X = np.atleast_2d(X)#将X转换为NUMPY包下的二维数组temp = np.ones([X.shape[0], X.shape[1]+1])#最后的+1为偏向所在列temp[:, 0:-1] = X  # adding the bias unit to the input layerX = tempy = np.array(y)for k in range(epochs):#k在第几次的循环中i = np.random.randint(X.shape[0])a = [X[i]]for l in range(len(self.weights)):  #going forward network, for each layera.append(self.activation(np.dot(a[l], self.weights[l])))  #Computer the node value for each layer (O_i) using activation functionerror = y[i] - a[-1]  #Computer the error at the top layerdeltas = [error * self.activation_deriv(a[-1])] #For output layer, Err calculation (delta is updated error)#Staring backprobagationfor l in range(len(a) - 2, 0, -1): # we need to begin at the second to last layer#Compute the updated error (i,e, deltas) for each node going from top layer to input layerdeltas.append(deltas[-1].dot(self.weights[l].T)*self.activation_deriv(a[l]))deltas.reverse()for i in range(len(self.weights)):layer = np.atleast_2d(a[i])delta = np.atleast_2d(deltas[i])self.weights[i] += learning_rate * layer.T.dot(delta)def predict(self, x):x = np.array(x)temp = np.ones(x.shape[0]+1)temp[0:-1] = xa = tempfor l in range(0, len(self.weights)):a = self.activation(np.dot(a, self.weights[l]))return a#返回输出层

二、调用已经写好的神经网络的类实现一个识别手写数字的应用

# 每个图片8x8  识别数字：0,1,2,3,4,5,6,7,8,9import numpy as np
from sklearn.datasets import load_digits
from sklearn.metrics import confusion_matrix, classification_report
from sklearn.preprocessing import LabelBinarizer
from NeuralNetwork import NeuralNetwork
from sklearn.model_selection import train_test_splitdigits = load_digits()
X = digits.data
y = digits.target
X -= X.min()  # normalize the values to bring them into the range 0-1
X /= X.max()nn = NeuralNetwork([64, 100, 10], 'logistic')
X_train, X_test, y_train, y_test = train_test_split(X, y)
labels_train = LabelBinarizer().fit_transform(y_train)
labels_test = LabelBinarizer().fit_transform(y_test)
print("start fitting")
nn.fit(X_train, labels_train, epochs=3000)
predictions = []
for i in range(X_test.shape[0]):o = nn.predict(X_test[i])predictions.append(np.argmax(o))
print(confusion_matrix(y_test, predictions))
print(classification_report(y_test, predictions))

三、运行结果展示

其中对角线上的数字为正确识别的内容，其他位置不为0的都是识别错误的

由上图可以看出本次识别的平均准确率高达93%。

Python实现手写数字的识别相关推荐

linux手写数字识别opencv,opencv实现KNN手写数字的识别
人工智能是当下很热门的话题,手写识别是一个典型的应用.为了进一步了解这个领域,我阅读了大量的论文,并借助opencv完成了对28x28的数字图片(预处理后的二值图像)的识别任务. 预处理一张图片: 首 ...
Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集的下载(基于python语言根据爬虫技术自动下载MNIST数据集)
Dataset之MNIST:MNIST(手写数字图片识别+ubyte.gz文件)数据集的下载(基于python语言根据爬虫技术自动下载MNIST数据集) 目录数据集下载的所有代码 1.主文件 mni ...
python手写汉字识别_用python实现手写数字识别
前言在之前的学习中,已经对神经网络的算法具体进行了学习和了解.现在,我们可以用python通过两种方法来实现手写数字的识别.这两种方法分别是多元逻辑回归和神经网络方法. 用多元逻辑回归手写数字识别 ...
DL之CNN：利用卷积神经网络算法(2→2,基于Keras的API-Functional)利用MNIST(手写数字图片识别)数据集实现多分类预测
DL之CNN:利用卷积神经网络算法(2→2,基于Keras的API-Functional)利用MNIST(手写数字图片识别)数据集实现多分类预测目录输出结果设计思路核心代码输出结果下边两张 ...
TF之NN：利用DNN算法(SGD+softmax+cross_entropy)对mnist手写数字图片识别训练集(TF自带函数下载)实现87.4%识别
TF之NN:利用DNN算法(SGD+softmax+cross_entropy)对mnist手写数字图片识别训练集(TF自带函数下载)实现87.4%识别目录输出结果代码设计输出结果代码设计 ...
DL之NN：利用(本地数据集50000张数据集)调用自定义神经网络network.py实现手写数字图片识别94%准确率
DL之NN:利用(本地数据集50000张数据集)调用自定义神经网络network.py实现手写数字图片识别94%准确率目录输出结果代码设计输出结果更新-- 代码设计 import mnist ...
TF之LiR：基于tensorflow实现手写数字图片识别准确率
TF之LiR:基于tensorflow实现手写数字图片识别准确率目录输出结果代码设计输出结果 Extracting MNIST_data\train-images-idx3-ubyte.gz ...
Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集简介、下载、使用方法(包括数据增强)之详细攻略
Dataset之MNIST:MNIST(手写数字图片识别+ubyte.gz文件)数据集简介+数据增强(将已有MNIST数据集通过移动像素上下左右的方法来扩大数据集为初始数据集的5倍) 目录 MNIST ...
DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率
DL之NN/CNN:NN算法进阶优化(本地数据集50000张训练集图片),六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率目录设计思路设计代码设计思路设计代码 import mn ...

Python实现手写数字的识别

Python实现手写数字的识别相关推荐

最新文章

热门文章