反向算法_10分钟带你了解神经网络基础:反向传播算法详解
作者:Great Learning Team
deephub.ai 翻译组
1.神经网络
2.什么是反向传播?
3.反向传播是如何工作的?
4.损失函数
5.为什么我们需要反向传播?
6.前馈网络
7.反向传播的类型
8.案例研究
在典型的编程中,我们输入数据,执行处理逻辑并接收输出。 如果输出数据可以某种方式影响处理逻辑怎么办? 那就是反向传播算法。 它对以前的模块产生积极影响,以提高准确性和效率。
让我们来深入研究一下。
神经网络(Neural network)
神经网络是连接单元的集合。每个连接都有一个与其相关联的权重。该系统有助于建立基于海量数据集的预测模型。它像人类的神经系统一样工作,有助于理解图像,像人类一样学习,合成语音等等。
什么是反向传播(What is backpropagation?)
我们可以将反向传播算法定义为在已知分类的情况下,为给定的输入模式训练某些给定的前馈神经网络的算法。当示例集的每一段都显示给网络时,网络将查看其对示例输入模式的输出反应。之后,测量输出响应与期望输出与误差值的比较。之后,我们根据测量的误差值调整连接权重。
在深入研究反向传播之前,我们应该知道是谁引入了这个概念以及何时引入。它最早出现在20世纪60年代,30年后由大卫·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉姆斯在1986年的著名论文中推广。在这篇论文中,他们谈到了各种神经网络。今天,反向传播做得很好。神经网络训练是通过反向传播实现的。通过这种方法,我们根据前一次运行获得的错误率对神经网络的权值进行微调。正确地采用这种方法可以降低错误率,提高模型的可靠性。利用反向传播训练链式法则的神经网络。简单地说,每次前馈通过网络后,该算法根据权值和偏差进行后向传递,调整模型的参数。典型的监督学习算法试图找到一个将输入数据映射到正确输出的函数。反向传播与多层神经网络一起工作,学习输入到输出映射的内部表示。
反向传播是如何工作的?(How does backpropagation work?)
让我们看看反向传播是如何工作的。它有四层:输入层、隐藏层、隐藏层II和最终输出层。
所以,主要的三层是:
1.输入层
2.隐藏层
3.输出层
每一层都有自己的工作方式和响应的方式,这样我们就可以获得所需的结果并将这些情况与我们的状况相关联。 让我们讨论有助于总结此算法所需的其他细节。
这张图总结了反向传播方法的机能。
1.输入层接收x
2.使用权重w对输入进行建模
3.每个隐藏层计算输出,数据在输出层准备就绪
4.实际输出和期望输出之间的差异称为误差
5.返回隐藏层并调整权重,以便在以后的运行中减少此错误
这个过程一直重复,直到我们得到所需的输出。训练阶段在监督下完成。一旦模型稳定下来,就可以用于生产。
损失函数(Loss function)
一个或多个变量被映射到实数,这些实数表示与这些变量值相关的某个数值。为了进行反向传播,损失函数计算网络输出与其可能输出之间的差值。
为什么我们需要反向传播?(Why do we need backpropagation?)
反向传播有许多优点,下面列出一些重要的优点:
•反向传播快速、简单且易于实现
•没有要调整的参数
•不需要网络的先验知识,因此成为一种灵活的方法
•这种方法在大多数情况下都很有效
•模型不需要学习函数的特性
前馈网络(Feed forward network)
前馈网络也称为MLN,即多层网络。 之所以称为前馈,是因为数据仅在NN(神经网络)中通过输入节点,隐藏层并最终到达输出节点。 它是最简单的人工神经网络。
反向传播的类型(Types of backpropagation)
有两种类型的反向传播网络。
•静态反向传播(Static backpropagation)
•循环反向传播(Recurrent backpropagation)
1. 静态反向传播(Static backpropagation)
在这个网络中,静态输入的映射生成静态输出。像光学字符识别这样的静态分类问题将是一个适合于静态反向传播的领域。
2. 循环反向传播(Recurrent backpropagation)
反复进行反向传播,直到达到某个阈值为止。 在到达阈值之后,将计算误差并向后传播。
这两种方法的区别在于,静态反向传播与静态映射一样快。
案例研究(Case Study)
让我们使用反向传播进行案例研究。 为此,我们将使用Iris数据(鸢尾花卉数据集),该数据包含诸如萼片和花瓣的长度和宽度之类的特征。 在这些帮助下,我们需要确定植物的种类。
为此,我们将构建一个多层神经网络,并使用sigmoid函数,因为它是一个分类问题。
让我们看一下所需的库和数据。
import numpy as npimport pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_split
为了忽略警告,我们将导入另一个名为warnings的库。
import warningswarnings.simplefilter(action='ignore', category=FutureWarning)
接着让我们读取数据。
iris = pd.read_csv("iris.csv")iris.head()
现在我们将把类标记为0、1和2。
iris. replace (, , inplace=True)
我们现在将定义函数,它将执行以下操作。
1.对输出执行独热编码(one hot encoding)。
2.执行sigmoid函数
3.标准化特征
对于独热编码,我们定义以下函数。
def to_one_hot(Y): n_col = np.amax(Y) + 1 binarized = np.zeros((len(Y), n_col)) for i in range(len(Y)): binarized ] = 1.return binarized
#现在我们来定义一个sigmoid函数
def sigmoid_func(x): return 1/(1+np.exp(-x))def sigmoid_derivative(x): return sigmoid_func(x)*(1 – sigmoid_func(x))
现在我们将定义一个用于标准化的函数。
def normalize (X, axis=-1, order=2): l2 = np. atleast_1d (np.linalg.norm(X, order, axis)) l2 = 1return X / np.expand_dims(l2, axis)
现在我们将对特征进行规范化,并对输出应用独热编码。
x = pd.DataFrame(iris, columns=columns)x = normalize(x.as_matrix())y = pd.DataFrame(iris, columns=columns)y = y.as_matrix()y = y.flatten()y = to_one_hot(y)
现在是时候应用反向传播了。为此,我们需要定义权重和学习率。让我们这么做吧。但在那之前,我们需要把数据分开进行训练和测试。
#Split data to training and validation data(将数据拆分为训练和验证数据)X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.33)#Weightsw0 = 2*np.random.random((4, 5)) - 1 #for input - 4 inputs, 3 outputsw1 = 2*np.random.random((5, 3)) - 1 #for layer 1 - 5 inputs, 3 outputs#learning raten = 0.1
我们将为错误设置一个列表,并通过可视化查看训练中的更改如何减少错误。
errors = []
让我们执行前馈和反向传播网络。对于反向传播,我们将使用梯度下降算法。
for i in range (100000):#Feed forward networklayer0 = X_trainlayer1 = sigmoid_func(np.dot(layer0, w0))layer2 = sigmoid_func(np.dot(layer1, w1))Back propagation using gradient descentlayer2_error = y_train - layer2layer2_delta = layer2_error * sigmoid_derivative(layer2)layer1_error = layer2_delta.dot (w1.T)layer1_delta = layer1_error * sigmoid_derivative(layer1)w1 += layer1.T.dot(layer2_delta) * nw0 += layer0.T.dot(layer1_delta) * nerror = np.mean(np.abs(layer2_error))errors.append(error)
准确率将通过从训练数据中减去误差来收集和显示
accuracy_training = (1 - error) * 100
现在让我们直观地看一下如何通过减少误差来提高准确度。(可视化)
plt.plot(errors)plt.xlabel('Training')plt.ylabel('Error')plt.show()
现在让我们查看一下准确率。
print ("Training Accuracy of the model " + str (round(accuracy_training,2)) + "%")
Output: Training Accuracy of the model 99.04%
我们的训练模型表现很好。现在让我们看看验证的准确性。
#Validatelayer0 = X_testlayer1 = sigmoid_func(np.dot(layer0, w0))layer2 = sigmoid_func(np.dot(layer1, w1))layer2_error = y_test - layer2error = np.mean(np.abs(layer2_error))accuracy_validation = (1 - error) * 100print ("Validation Accuracy of the model "+ str(round(accuracy_validation,2)) + "%")
Output: Validation Accuracy 92.86%
这个性能符合预期。
应遵循的最佳实践准则(Best practices to follow)
下面讨论一些获得好模型的方法:
•如果约束非常少,则系统可能不起作用
•过度训练,过多的约束会导致过程缓慢
•只关注少数方面会导致偏见
反向传播的缺点(Disadvantages of backpropagation)
•输入数据是整体性能的关键
•有噪声的数据会导致不准确的结果
•基于矩阵的方法优于小批量方法(mini-batch)
综上所述,神经网络是具有输入和输出机制的连接单元的集合,每个连接都有相关联的权值。反向传播是"误差的反向传播",对训练神经网络很有用。它快速、易于实现且简单。反向传播对于处理语音或图像识别等易出错项目的深度神经网络非常有益。
反向算法_10分钟带你了解神经网络基础:反向传播算法详解相关推荐
- 卷积神经网络之前向传播算法
0.杂谈 本来个人是准备毕业直接工作的,但前段时间学校保研大名单出来之后,发现本人有保研机会,于是就和主管请了几天假,回学校准备保研的事情.经过两天的准备,也是非常幸运,成功拿到本院的保研名额.明确得 ...
- 【数据挖掘】神经网络 后向传播算法 向前传播输入 案例计算分析 ( 网络拓扑 | 输入层计算 | 隐藏层计算 | 输出层计算 )
文章目录 I . 神经网络 后向传播算法 计算 隐藏层 与 输出层 的输入输出实例分析 II . 神经网络 后向传播算法 输入层公式 III. 神经网络 后向传播算法 输入层计算 IV . 神经网络 ...
- LSTM入门必读:从入门基础到工作方式详解 By 机器之心2017年7月24日 12:57 长短期记忆(LSTM)是一种非常重要的神经网络技术,其在语音识别和自然语言处理等许多领域都得到了广泛的应用
LSTM入门必读:从入门基础到工作方式详解 By 机器之心2017年7月24日 12:57 长短期记忆(LSTM)是一种非常重要的神经网络技术,其在语音识别和自然语言处理等许多领域都得到了广泛的应用. ...
- 全连接神经网络基础——正向传播及损失函数
全连接神经网络结构 顾名思义,全连接神经网络指的是上一层网络中的所有神经元都与下一层网络中的所有神经元相连,即上一层网络所有神经元的输出都作为下一层网络所有神经元的输入.一个简单的全连接神经网络结果如 ...
- [Pytorch系列-61]:循环神经网络 - 中文新闻文本分类详解-3-CNN网络训练与评估代码详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客 本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
- [Pytorch系列-60]:循环神经网络 - 中文新闻文本分类详解-2-LSTM网络训练与评估代码详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客 本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
- Nginx反向代理、动静分离、负载均衡及rewrite隐藏路径详解(Nginx Apache MySQL Redis)–第二部分...
Nginx反向代理.动静分离.负载均衡及rewrite隐藏路径详解 (Nginx Apache MySQL Redis) 楓城浪子原创,转载请标明出处! 更多技术博文请见个人博客:https://fe ...
- a*算法matlab代码_10分钟带你入门MATLAB
10分钟带你快速入门MATLABhttps://www.zhihu.com/video/1234089282815188992 前一段时间我发现有些小伙伴MATLAB基础比较薄弱,今天我来让各位小 ...
- 【数据挖掘】神经网络 后向传播算法( 向后传播误差 | 输出层误差公式 | 隐藏层误差公式 | 单元连接权值更新公式 | 单元偏置更新公式 | 反向传播 | 损失函数 | 误差平方和 | 交叉熵 )
文章目录 I . 向后传播误差 简介 II . 输出层误差计算公式 III . 隐藏层层误差计算公式 IV . 使用误差更新 连接权值 V . 使用误差更新 单元偏置 VI . 反向传播 过程 VII ...
最新文章
- 丘维声高等代数pdf_2020年兰州大学高等代数真题出处简直惊讶
- 这家公司不要求996,但照样市值万亿!
- x12arima季节调整方法_降低农村生活污水处理设备运营成本的方法
- web开发的发展历史
- mysql select call_MySQL的SQL语句 - 数据操作语句(1)- CALL 语句
- linux 临时 目录权限,linux文件和目录权限的设置
- caffe win 还是 linux,caffe的windows版本安装,超级简单
- 计算机考试可以用平板电脑吗,操作计算机等级考试平板电脑可以吗
- win10系统怎么删除远程桌面连接记录
- 寻找(下载)微信音频文件
- HDCP版权保护机制
- Python如何使用Any和All?代码示例和解析
- 在 2040 年前,实现净零碳排放
- Visual Studio 2013新功能介绍
- python从邮箱获取指定邮件_用python提取并统计指定邮箱里的特定邮件 | 学步园
- HttpReques
- matlab矩阵的合并
- 电脑辐射对身体有多大危害
- Oracle-ASM-PRCR-1079-监听启动报错
- 为 Revit API 插件创建 WPF 窗口的基本项目(Revit API+WPF 系列 2/3)