Simple Recurrent Unit，单循环单元

标签：div   梯度   and   循环   png   stream   .com   alt   技术分享   

SRU（Simple Recurrent Unit），单循环单元

src/nnet/nnet-recurrent.h

使用Tanh作为非线性单元

SRU不保留内部状态

训练时，每个训练序列以零向量开始

可以用作‘以句为单位的‘训练以及多流训练

/search/odin/cdxie/sogou-kaldi-nnet-1/nnet3/nnet3-simple-recurrent-unit.h

该文件是Sogou对SRU的实现

具体是添加了一个组件：

<SRUStreams>

训练的神经网络被称为CLDNN

脚本支持平均随机梯度下降（ASGD，Asynchronous Stochastic Gradient Descent）

编写了一系列适用于SRU的工具：

• aslp-nnet-init
• aslp-nnet-info
• aslp-nnet-convert-to-standard
• standard-convert-to-aslp-nnet

  aslp nnet是一种适用于移动设备的神经网络结构

Simple Recurrent Unit，单循环单元

标签：div   梯度   and   循环   png   stream   .com   alt   技术分享   

原文地址：https://www.cnblogs.com/JarvanWang/p/9152665.html