1.感知机

感知机模型结构如下所示，接受长度为n的一维向量，每个输入节点通过权值为wi，i∈[1,n]，的连接汇集为变量z，即：

b称为感知机的偏置(bias)；

一维向量称为感知机的权值(Weight)；

z称为感知机的净活性值(Net Activation)；

向量模式：

通过在线性模型后添加激活函数后得到活性值a:

激活函数可以是阶跃函数：阶跃函数只有0、1两种数值

当z<0时输出0，代表类别0；

当z>=0时输出0，代表类别1；

也可以是符号函数：

添加激活函数之后，感知机可以用来完成二分类任务。

阶跃函数和符号函数在z=0处是不连续的（不可导），其他位置导数为0，无法利用梯度下降法对参数进行优化。

感知机学习算法：

感知机是线性模型，并不能处理线性不可分问题。

2.全连接层

①全连接层

堆叠多个神经元实现多输入、多输出的网络层结构，如下所示，并行堆叠2个神经元，即替换了激活函数的感知机，构成3个输入节点、2个输出节点的网络层。

第一个输出节点的输出为：

整个网络层可以通过矩阵关系表达：

输入矩阵X的shape：[b,din]，b为样本数量，din为输入节点数；

权值矩阵W的shape：[din,dout]，din为输入节点数，dout为输出节点数；

偏置b的shape：[dout]，dout为输出节点数；

如果是2个样本：

每个输出节点与全部的输入节点相连接，这种网络层叫做全连接层(Fully-connectd Layer)，或者稠密连接层

②张量方式实现

在 TensorFlow 中，要实现全连接层，只需要定义好权值张量

【Tensorflow2.x学习笔记】- 神经网络相关推荐

TensorFlow2.0 学习笔记（三）：卷积神经网络（CNN）
欢迎关注WX公众号:[程序员管小亮] 专栏--TensorFlow学习笔记文章目录欢迎关注WX公众号:[程序员管小亮] 专栏--TensorFlow学习笔记一.神经网络的基本单位:神经元二.卷 ...
Tensorflow2.0学习笔记（一）北大曹健老师教学视频1-4讲
Tensorflow2.0学习笔记(一)北大曹健老师教学视频1-4讲返回目录这个笔记现在是主要根据北京大学曹健老师的视频写的,这个视频超级棒,非常推荐. 第一讲常用函数的使用(包含了很多琐碎的函 ...
Tensorflow2.0学习笔记（二）北大曹健老师教学视频第五讲
Tensorflow2.0学习笔记(二)北大曹健老师教学视频第五讲返回目录理论部分主要写点以前看吴恩达视频没有的或者不太熟悉的了. 5.1卷积计算过程实际项目中的照片多是高分辨率彩色图,但待优化 ...
Tensorflow2.0学习笔记（一）
Tensorflow2.0学习笔记(一)--MNIST入门文章目录 Tensorflow2.0学习笔记(一)--MNIST入门前言一.MNIST是什么? 二.实现步骤及代码 1.引入库 2.下载 ...
Tensorflow2.0学习笔记（二）
Tensorflow2.0学习笔记(二)--Keras练习文章目录 Tensorflow2.0学习笔记(二)--Keras练习前言二.使用步骤 1.实现步骤及代码 2.下载 Fashion MN ...
1.2）深度学习笔记------神经网络的编程基础
目录 1)Binary Classification 2)Logistic Regression 3)Logistic Regression Cost Function 4)Gradient Desc ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
tensorflow2.0 学习笔记：一、神经网络计算
mooc课程Tensorflow2.0 笔记人工智能三学派行为主义:基于控制论,构建感知-动作控制系统(自适应控制系统) 符号主义:基于算数逻辑表达式,求解问题时先把问题描述为表达式,再求解表达式 ...
TensorFlow2.0学习笔记2-tf2.0两种方式搭建神经网络
目录一,TensorFlow2.0搭建神经网络八股 1)import [引入相关模块] 2)train,test [告知喂入网络的训练集测试集以及相应的标签] 3)model=tf.keras. ...

【Tensorflow2.x学习笔记】- 神经网络

1.感知机

2.全连接层

①全连接层

②张量方式实现

【Tensorflow2.x学习笔记】- 神经网络相关推荐

最新文章

热门文章