keras + tensorflow —— 训练参数数目的计算

1. RNN 模型

Embedding

Embedding(input_dim, output_dim,input_length)
- input_dim 表示字典的大小；
- outpu_dim 则表示嵌入的维度；
训练参数的数目为：input_dim✖️output_dim；

model = Sequential()
model.add(Embedding(10000, 64, input_length=10))
input_array = np.random.randint(10000, size=(32, 10))# batch_size 为 32，每一条样本的长度为 10，input_array 的最大值不超过 10000-1，
model.compile('rmsprop', 'mse')
output_array = model.predict(input_array)
assert output_array.shape == (32, 10, 64)# 32 仍为 batch_size# 10,64：则表示输入样本的每一维均映射为 64 维的嵌入向量；

SimpleRNN
- https://www.cnblogs.com/wdmx/p/9284037.html
- SimpleRNN(units,input_shape)
  - units：该层神经元的数目；
- 对于 RNN
$st=tanh⁡(Uxt+Wst−1)ot=Softmax(Vst)\begin{array}{l} s_t=\tanh(Ux_t+Ws_{t-1})\\ o_t=\text{Softmax}(Vs_t) \end{array}$

则训练参数的数目为：dim(U)+dim(W)+dim(V)，如果隐层神经元的数目为 n，输出的维数为 k，输入的维度为 m，也即 $Un×m,Wn×n,Vn×kU_{n\times m}, W_{n\times n}, V_{n\times k}$ ，训练参数的数目为： $n^2+nm+kn$ ，如果考虑到biases，还需加上 $n$ 。
- 对于 SimpleRNN，计算其可训练参数时，并未计入到输出层的矩阵 $V$ ，此时训练参数的数目为 $n^2+nm+n$ ，
```
model = Sequential()
model.add(Embedding(1000, 64))# 1000*64 ⇒ 64000
model.add(SimpleRNN(32))# 64*32+32*32+32=3104
model.summary()
```
https://stackoverflow.com/questions/50134334/number-of-parameters-for-keras-simplernn
GRU
- $\times (n^2 + nm + n)$
- 3 倍于 SimpleRNN 参数的数目；
- https://stats.stackexchange.com/questions/328926/how-many-parameters-are-in-a-gated-recurrent-unit-gru-recurrent-neural-network

LSTM

input_dim: m, units: n
可训练参数数目为：4(nm+n+n^2)

model = Sequential()
model.add(LSTM(256, input_shape=(16, 4096)))# 4*(4096*256+256+256**2)
model.summary()

2. CNN

Conv1D
- (None, 500, 128)，经过 (32, 7)（32 表示 filter 的数量，7 为 kernel size）的一维卷积之后的大小为：(None, 494, 32)，训练参数的数目为：712832+32 ⇒ 28704;

keras + tensorflow —— 训练参数数目的计算相关推荐

Convolutional Neurons Network 训练参数与连接数计算过程
1.C1层是一个卷积层(为什么是卷积?卷积运算一个重要的特点就是,通过卷积运算,可以使原信号特征增强,并且降低噪音),由6个特征图Feature Map构成.特征图中每个神经元与输入中5*5的邻 ...
TensorFlow训练参数存为npy格式并调用——线性回归
模型训练并保存 # -*- coding: utf-8 -*- """ Created on Sun Mar 15 10:27:32 2020@author: weixi ...
tensorflow官方Blog-使用Keras Tuner超参数优化框架进行超参数调整 ,具体实现版本
文章目录进入正题,keras tuner超参数优化框架模型构建def build_model(hp): 实例化tuner 加载数据集,进行超参数搜索tuner.search() 找到最佳的模型tu ...
存储Tensorflow训练网络的参数
正文共3565个字,预计阅读时间10分钟. 上海站 | 高性能计算之GPU CUDA培训 4月13-15日三天密集式训练带你快速晋级阅读全文 > 训练一个神经网络的目的是啥?不就是有朝一日 ...
Keras自定义可训练参数
Keras自定义可训练参数是在自定义层中实现的,因此需要我们自己编写一个层来实现我们需要的功能.话不多说,直接上实例. 假设我们需要自定义一个可学习的权重矩阵来对某一层的数据进行转换,则可以通过下面代 ...
LeNet-5网络结构及训练参数计算
经典神经网络诞生记: 1.LeNet,1998年 2.AlexNet,2012年 3.ZF-net,2013年 4.GoogleNet,2014年 5.VGG,2014年 6.ResNet,20 ...
tensorflow.keras lstm 部分参数整理units input_size
参考博客: (11条消息) 关于LSTM的units参数_LeoRainy的博客-CSDN博客_lstm units怎么设置 Keras LSTM的参数input_shape, units等的理解_y ...
【前沿】何恺明大神ICCV2017最佳论文Mask R-CNN的Keras/TensorFlow/Pytorch 代码实现
我们提出了一个概念上简单.灵活和通用的用于目标实例分割(object instance segmentation)的框架.我们的方法能够有效地检测图像中的目标,同时还能为每个实例生成一个高质量的分割掩 ...
深度学习卷积层与全连接层权重参数个数的计算
1.卷积网络实例分析构建卷积网络如下: from tensorflow.python.keras import datasets, models, layers class CNN(object): ...

keras + tensorflow —— 训练参数数目的计算

1. RNN 模型

2. CNN

keras + tensorflow —— 训练参数数目的计算相关推荐

最新文章

热门文章