深度学习2.0-14.神经网络与全连接层之全连接层、输出方式、误差计算

文章目录

1.全连接层
- 1.全连接层-keras.layers.Dense
- 2.多层网络-keras.Sequential([layer1,layer2,layer3])
2.输出方式
- 1.y∈R^d-实数
- 2.y∈[0,1]-tf.sigmoid
- 3.yi ∈[0,1],∑yi = 1--tf.nn.softmax
- 4.yi ∈ [-1,1] -tf.tanh
3.误差计算
- 1.MSE
- 2.熵-entropy
- 3.交叉熵-cross entropy -tf.losses.categorical_crossentropy

1.全连接层

1.全连接层-keras.layers.Dense

2.多层网络-keras.Sequential([layer1,layer2,layer3])

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import tensorflow as tf
from tensorflow import kerasx = tf.random.normal([2, 3])
# 多层全连接层
model = keras.Sequential([keras.layers.Dense(2, activation='relu'),keras.layers.Dense(2, activation='relu'),keras.layers.Dense(2)
])
model.build(input_shape=[None, 3])
# 查看网络结构
model.summary()# [w1,b1,w2,b2,w3,b3]
for p in model.trainable_variables:print(p.name, p.shape)

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense (Dense)                multiple                  8 = 3*2+2
_________________________________________________________________
dense_1 (Dense)              multiple                  6 = 2*2+2
_________________________________________________________________
dense_2 (Dense)              multiple                  6
=================================================================
Total params: 20
Trainable params: 20
Non-trainable params: 0
_________________________________________________________________
dense/kernel:0 (3, 2)
dense/bias:0 (2,)
dense_1/kernel:0 (2, 2)
dense_1/bias:0 (2,)
dense_2/kernel:0 (2, 2)
dense_2/bias:0 (2,)

2.输出方式

输出范围

1.y∈R^d-实数

2.y∈[0,1]-tf.sigmoid

3.yi ∈[0,1],∑yi = 1–tf.nn.softmax

4.yi ∈ [-1,1] -tf.tanh

3.误差计算

1.MSE

2.熵-entropy

3.交叉熵-cross entropy -tf.losses.categorical_crossentropy

深度学习2.0-14.神经网络与全连接层之全连接层、输出方式、误差计算相关推荐

深度学习（22）神经网络与全连接层五: 误差计算
深度学习(22)神经网络与全连接层五: 误差计算 1. MSE 2. Entropy(熵) 3. Cross Entropy 4. Binary Classification 5. Single ou ...
深度学习（21）神经网络与全连接层四: 输出方式
深度学习(21)神经网络与全连接层四: 输出方式 1. y∈Rdy∈R^dy∈Rd 2. yi∈[0,1]y_i∈[0,1]yi∈[0,1] 3. sigmoid函数 (1) 目的 (2) tf.s ...
深度学习（19）神经网络与全连接层二: 测试（张量）实战
深度学习(19)神经网络与全连接层二: 测试(张量)实战 1. 传入测试集数据 2. 数据类型转换 3. 创建test_db 4. test/evluation 5. 创建神经网络 6. 输出 7. ...
深度学习（18）神经网络与全连接层一: 数据加载
深度学习(18)神经网络与全连接层一: 数据加载 1. 常用数据集 2. MNIST数据集 (1) MNIST样本 (2) MNIST加载案例 3. CIFAR10/100 (1) CIFAR10/1 ...
深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
原文地址可以查看更多信息本文主要参考于:Multilayer Perceptron python源代码(github下载 CSDN免费下载) 本文主要介绍含有单隐层的MLP的建模及实现.建议在阅读 ...
深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-03-基于Python的LeNet之LR
原地址可以查看更多信息本文主要参考于:Classifying MNIST digits using Logistic Regression python源代码(GitHub下载 CSDN免费下载) ...
【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理(1)
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...
[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
深度学习教程(10) | 卷积神经网络解读（吴恩达·完整版）
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/35 本文地址:http://www.showmeai.tech/article-det ...
深度学习简介(一)——卷积神经网络
本文的主要目的,是简单介绍时下流行的深度学习算法的基础知识,本人也看过许多其他教程,感觉其中大部分讲的还是太过深奥,于是便有了写一篇科普文的想法.博主也是现学现卖,文中如有不当之处,请各位指出,共同进 ...

深度学习2.0-14.神经网络与全连接层之全连接层、输出方式、误差计算

文章目录

1.全连接层

1.全连接层-keras.layers.Dense

2.多层网络-keras.Sequential([layer1,layer2,layer3])

2.输出方式

1.y∈R^d-实数

2.y∈[0,1]-tf.sigmoid

3.yi ∈[0,1],∑yi = 1–tf.nn.softmax

4.yi ∈ [-1,1] -tf.tanh

3.误差计算

1.MSE

2.熵-entropy

3.交叉熵-cross entropy -tf.losses.categorical_crossentropy

深度学习2.0-14.神经网络与全连接层之全连接层、输出方式、误差计算相关推荐

最新文章

热门文章