一文详解神经网络 BP 算法原理及 Python 实现

什么是梯度下降和链式求导法则

假设我们有一个函数 J(w)，如下图所示。

梯度下降示意图

现在，我们要求当 w 等于什么的时候，J(w) 能够取到最小值。从图中我们知道最小值在初始位置的左边，也就意味着如果想要使 J(w) 最小，w的值需要减小。而初始位置的切线的斜率a > 0(也即该...

文章

玄学酱

2017-08-02

2044浏览量

三层BP神经网络的python实现

这是一个非常漂亮的三层反向传播神经网络的python实现，下一步我准备试着将其修改为多层BP神经网络。

下面是运行演示函数的截图，你会发现预测的结果很惊人！

提示：运行演示函数的时候，可以尝试改变隐藏层的节点数，看节点数增加了，预测的精度会否提升

1 import ...

文章

罗兵

2015-02-28

681浏览量

神经网络基础知识笔记

神经网络表示

神经元模型

神经网络从大脑的工作原理得到启发，可用于解决通用的学习问题。神经网络的基本组成单元是神经元(neuron)。每个神经元具有一个轴突和多个树突。每个连接到本神经元的树突都是一个输入，当所有输入树突的兴奋水平之和超过某一阈值，神经元就会被激活。激活的神经元会沿着其轴突发射信号...

文章

墨航

2017-05-16

3733浏览量

Keras框架简介

Keras是基于Theano的一个深度学习框架，它的设计参考了Torch，用Python语言编写，是一个高度模块化的神经网络库，支持GPU和CPU。使用文档在这：http://keras.io/，中文文档在这：http://keras-cn.readthedocs.io/en/latest/ ，这...

文章

ayew

2018-01-07

871浏览量

独家 | 一文读懂深度学习

Figure1. Deep learning导图

前言

深度学习(deep learning)的概念最早可以追溯到1940-1960年间的控制论(cybernetics)，之后在1980-1990年间发展为连接主义(connectionism)，第三次发展浪潮便是2006年由人工神经网络(A...

文章

行者武松

2017-08-01

2136浏览量

让AI帮你上分！——使用机器学习来挑选Dota2补位英雄

机器学习不只是书本和文档中的枯燥理论，事实上，机器学习方法已经可以应用在我们日常生活的很多场景中，甚至是我们在玩游戏的时候，机器学习也能帮我们一起哈啤。

比如在玩Dota2的时候，大家除了经常抱怨服务器问题，另外一个频繁出现的问题就是：「卧槽这么多英雄我该玩什么才好，随机吧又怕随出个不会玩的，选个...

文章

玄学酱

2017-10-24

1193浏览量

深度学习最佳实践系列——权重w初始化

作为深度学习的初学者，我有意识到的一件事情，即网络上没有太多的在线文档能够涵盖所有深层次的学习技巧。都是一些比较零碎的实践技巧，比如权重初始化、正则化及循环学习率等，这些可以使得训练和调试神经网络变得更容易和更高效。本系列博客内容将尽可能多地介绍一些实践细节，以便你更容易实现深度学习...

文章

【方向】

2018-06-25

3192浏览量

2020 年图机器学习的热门趋势

虽然我们才刚刚进入 2020 年，但已经可以在最新的研究论文中看到图机器学习(Graph Machine Learning，GML)的趋势了。本文是我对 2020 年图机器学习的重要内容以及对有关这些论文的讨论的看法。

引言

本文写作目的并非介绍图机器学习的基本概念，如图神经网络(Graph Ne...

文章

机器智能技术

2020-02-10

272浏览量

计算机视觉怎么给图像分类？KNN、SVM、BP神经网络、CNN、迁移学习供你选(附开源代码)

图像分类问题就是从固定的一组分类中，给输入图像分配标签的任务。这是计算机视觉的核心问题之一，尽管它看似简单，却在实际生活中有着各种各样的应用。

传统方式：功能描述和检测。

也许这种方法对于一些样本任务来说是比较好用的，但实际情况却要复杂得多。

因此，我们将使用机器学习来为每个类别提供许多...

文章

行者武松

2017-06-01

1752浏览量

三层BP神经网络的python实现

这是一个非常漂亮的三层反向传播神经网络的python实现，下一步我准备试着将其修改为多层BP神经网络。

下面是运行演示函数的截图，你会发现预测的结果很惊人！

提示：运行演示函数的时候，可以尝试改变隐藏层的节点数，看节点数增加了，预测的精度会否提升

1 import...

文章

吞吞吐吐的

2017-09-13

1236浏览量

Python实现RNN

一般的前馈神经网络中, 输出的结果只与当前输入有关与历史状态无关, 而递归神经网络(Recurrent Neural Network, RNN)神经元的历史输出参与下一次预测.

本文中我们将尝试使用RNN处理二进制加法问题: 两个加数作为两个序列输入, 从右向左处理加数序列.和的某一位不仅与加数的...

文章

技术小阿哥

2017-11-27

1451浏览量

Python实现RNN

一般的前馈神经网络中, 输出的结果只与当前输入有关与历史状态无关, 而递归神经网络(Recurrent Neural Network, RNN)神经元的历史输出参与下一次预测.

本文中我们将尝试使用RNN处理二进制加法问题: 两个加数作为两个序列输入, 从右向左处理加数序列.和的某一位不仅与加数的...

文章

科技探索者

2017-11-07

704浏览量

神经支持决策树(NBDT)算法研究

闲鱼技术-渐漓

背景

在闲鱼的很多业务场景中有大量需要利用算法进行分类的需求，例如图片分类、组件识别、商品分层、纠纷类别预测等。这些场景往往需要模型识别出的结果具备可解释性，也就是识别不能只得到其类别，最好能在识别过程中同时解释类别的层级和来源。如何进行有解释的图片分类成为了项目研发中的一个需求，...

文章

闲鱼技术

2020-06-04

577浏览量

近200篇机器学习&深度学习资料分享(含各种文档，视频，源码等)

From：http://www.tuicool.com/articles/rqIRJb2

本文收集了百来篇关于机器学习和深度学习的资料，含各种文档，视频，源码等。而且原文也会不定期的更新，望看到文章的朋友能够学到更多。《Brief History of Machine Learning》

介绍:这...

文章

武耀文

2016-11-02

2156浏览量

Apache Spark 1.5新特性介绍

Apache Spark社区刚刚发布了1.5版本,大家一定想知道这个版本的主要变化,这篇文章告诉你答案。

DataFrame执行后端优化(Tungsten第一阶段)

DataFrame可以说是整个Spark项目最核心的部分,在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成...

文章

小旋风柴进

2017-05-02

1226浏览量

原来CNN是这样提取图像特征的。。。

1.卷积操作

假设有一个5*5的图像，使用一个3*3的卷积核(filter)进行卷积，得到一个3*3的矩阵(其实是Feature Map，后面会讲)，如下所示：

下面的动图清楚地展示了如何进行卷积操作(其实就是简单的点乘运算)：

一个图像矩阵经过一个卷积核的卷积操作后，得到了另一个矩阵，这个...

文章

技术小能手

2018-11-26

2348浏览量

py4CV例子3Mnist识别和ANN

1、什么是mnist数据集；

mnist是一个被重度使用的数字手写字符集。它来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的...

文章

禾路

2018-03-20

886浏览量