111

标签：oba   add   encoder   define   tin   tran   ext   efi   limits   

\[{\begin{array}{*{20}{l}}
{h\text{ }=\text{ }transformer\mathop{{}}\nolimits_{{encoder}} \left( x \right) }\\
{s\text{ }=\text{ }Add\text{ }\text{&}\text{ }Norm \left( Mask\text{ }Self\text{ }AttentiNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNundefined}\\
{z,\text{ }atten\text{ }=\text{ }Add\text{ }\text{&}\text{ }Norm \left( Self\text{ }AttenNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaNundefined}\\
{proba\text{ }=\text{ }softmax \left( z\text{ }*\text{ }Embedding\mathop{{}}\nolimits^{{T}} \right) }\\
{L\text{ }=\text{ }max \left( atten+proba \right) }
\end{array}}\]

111

标签：oba   add   encoder   define   tin   tran   ext   efi   limits   

原文地址：https://www.cnblogs.com/callyblog/p/11994345.html