1 单个神经元如何工作

固有偏置单元（bias unit）。

2 感知机

加了偏置项代码跑出的效果会更好。
根据激活函数公式，信号大于0输出1，否则-1（or 0）.

3 感知机模型解决逻辑运算问题

尝试解决 and，or，not，xnor（异或非门）。

bias-（-1，-2）均可。

异或转换：

3.1 XNOR的第一个实现

x1 and x2 直接带入and网络即可。

3.2 第二个

4 感知机的训练

t为预期值。
每一步走的尽量小一些，学习速度会慢，但是得到的权值结果会更优一些。
当学习率过大则可能导致模型不收敛.
PS：
梯度是微积分中一个很重要的概念

在单变量函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；

在多变量函数中，梯度就是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；

5 Sigmoid神经元

连续函数可以求导。
激活函数种类颇多，对于小白来讲可以自己探索一下。

【Deep Learning笔记】感知机模型和学习策略相关推荐

《学习geometric deep learning笔记系列》第一篇，Non-Euclidean Structure Data之我见
<学习geometric deep learning笔记系列>第一篇,Non-Euclidean Structure Data之我见 FesianXu at UESTC 前言本文是笔者在 ...
Deep Learning（深度学习）之（三）Deep Learning的常用模型或者方法
转自:http://blog.csdn.net/boon_228/article/details/51700569 Deep Learning(深度学习)之(三)Deep Learning的常用模型或 ...
Deep learning笔记
Deep learning:一(基础知识_1) 出处:http://www.cnblogs.com/tornadomeet 欢迎转载或分享,但请务必声明文章出处. 前言: 最近打算稍微系统的学习下de ...
吴恩达Deep learning笔记（一）
Welcome to Deep learning Specialization 介绍了深度学习目前的发展状况以及未来的前景 Introdcution to Deep Learning what'is ...
neural network and deep learning笔记（1）
neural network and deep learning 这本书看了陆陆续续看了好几遍了,但每次都会有不一样的收获.DL领域的paper日新月异,每天都会有很多新的idea出来,我想,深入阅读 ...
【Deep Learning笔记】用Inception-V3模型进行图像分类
文章目录 1 Inception-V3模型简介 2 ImageNet数据集简介 3 工程文件 4 运行 5 结果 1 Inception-V3模型简介本例使用预训练好的深度神经网络Inception ...
【Deep Learning笔记】一个很好的神经网络相关定义(看不懂你来打我)
"神经网络由许多相互关联的概念化的人造神经元组成,它们之间传递相互数据,并且具有根据网络"经验"调整的相关权重.神经元具有激活阈值,如果通过其相关权重的组合和传递给他们的 ...
【Deep Learning笔记】前馈神经网络和BP算法
文章目录 1 前馈神经网络 1.1 网络训练一些定义 2 反向传播算法 2.1 前言 2.2 符号约定 2.3 反向传播算法的推导 2.4 总结过程 3 收敛和局部极值 4 神经网络杂谈 1 前馈神经 ...
【Deep Learning笔记】卷积神经网络必须要掌握的知识（看不懂你来打我）
文章目录滤波器(Filters) 卷积神经网络(CNN) 池化(Pooling) 填充(Padding) 数据增强(Data Augmentation) 滤波器(Filters) CNN中的滤波器与 ...

【Deep Learning笔记】感知机模型和学习策略

文章目录