描述transformer的原理,encoder和decoder是怎样的?
Transformer网络是一个Encoder-Decoder(编码,解码)的结构,整体是由输入部分,Encoder部分和Decoder部分组成。
Encoder端和Decoder端均有6个Block,Encoder端的Block包括两个模块,多头self-attention模块以及一个前馈神经网络模块;Decoder端的Block包括三个模块,Masked多头self-attention模块,多头Encoder-Decoder attention交互模块,以及一个前馈神经网络模块;需要注意:Encoder端和Decoder端中的每个模块都有残差层和Layer Normalization层。
蓝海大脑 京ICP备18017748号-1