ernie和Bert的参数理解

BERT参数的理解

bert参数量隐藏在每一层的shape当中。把如上shape累加即为全部参数量。

总参数量=input_parm+12*encoder_parm=(30522+512+2)768+12(76812643+12643+6412768+768+768+768+7683072+3072+3072*768+768+768+768)=101675520个

参数简单解释如下：input_parm=(30522+512+2)*768就是输入embeding层对应的参数，分别对应的是**token-embedding,position-embedding，segment-embedding。**其中768是embedding的维度，也就是有768个特征。

后面的encoder_parm表示每个encoder部分的参数量。

**768*12 *64 *3 +12 *64 *3：**是Self-Attention自注意层12个多头Q,K,V对应的参数量；

**64 *12 *768 +768：**是将自注意层12个多头输出进行拼接后接全连接层输出对应的参数量；

**768 +768：**是自注意层后接归一层(layer norm)的参数beta和gamma；

**768 *3072 +3072：**是前馈神经网络进行调制生成全连接层输出对应的参数；

**3072 *768 +768：**则是前馈神经网络进行解调生成全连接层输出对应的参数；

**768 +768：**是前馈神经网络层后接归一层的参数beta和gamma

ERNIE的参数理解

总参数量=input_parm+12*encoder_parm=(18000+513+2)768+12(76812643+12643+6412768+768+768+768+7683072+3072+3072*768+768+768+768)=101675520个

参数简单解释如下：input_parm=(18000+513+2)*768就是输入embeding层对应的参数，分别对应的是token-embedding， position-embedding， segment-embedding。其中768是embedding的维度，也就是有768个特征。

后面的encoder_parm表示每个encoder部分的参数量。

**768 *12 *64 *3 +12 *64 *3：**是自注意层12个多头Q,K,V对应的参数量；

**64 *12 *768 +768：**是将自注意层12个多头输出进行拼接后接全连接层输出对应的参数量；

**768 +768：**是自注意层后接归一层的参数beta和gamma；

**768 *3072 +3072：**是前馈神经网络进行调制生成全连接层输出对应的参数；

**3072 *768 +768：**则是前馈神经网络进行解调生成全连接层输出对应的参数；

**768 +768：**是前馈神经网络层后接归一层的参数beta和gamma

参数具体含义：

vocab_size： 18000 词表大小
hidden_size： 768 隐藏层神经元数
num_hidden_layers： 12 Transformer encoder中的隐藏层数
num_attention_heads： 12 multi-head attention 的head数
intermediate_size： encoder的“中间”隐层神经元数（例如feed-forward layer）
hidden_act： relu 隐藏层激活函数
hidden_dropout_prob： 0.1 隐层dropout率
attention_probs_dropout_prob： 0.1 注意力部分的dropout
max_position_embeddings： 513 最大位置编码
type_vocab_size： 2 token_type_ids的词典大小
initializer_range： 0.02 truncated_normal_initializer初始化方法的stdev

这里要注意一点，可能刚看的时候对type_vocab_size这个参数会有点不理解，其实就是在next sentence prediction任务里的Segment A和 Segment B。在下载的bert_config.json或ernie_config.json文件里也有说明，默认值应该为2。

参考链接：参考链接