标签：网络模式   bsp   width   res   深度   ima   code   cal   image   

一、RNN

1.展开图

（1）假设$x^{(t)}$为$t$时刻系统的外部驱动信号，则动态系统的状态为$h^{(t)}=f(h^{(t-1)},x^{(t)};\theta)$

（2）当训练RNN根据过去预测未来时，网络通常要讲$h^{(t)}$作为过去序列信息的一个有损的representation，因为它使用一个固定长度的向量$h^{(t)}$来表达任意长的序列$\{x^{(1)},...,x^{(t-1)}\}$

根据不同的训练准则，representation可能会有选择地保留过去序列的某些部分，如attention机制。

（3）

（4）

2.网络模式

2.1 零长度输入序列

2.2 单长度输入序列

2.3 多长度输入序列

3.输出序列长度

二、训练算法

1.BPTT算法

2.Teacher forcing算法

三、长期依赖

1.长期依赖

2.多时间尺度

3.渗漏单元

4.梯度截断

5.引导信息流的正则化

四、常见RNN变种

1.双向RNN

2.深度RNN

3.LSTM和GRU

3.1 LSTM

3.2 GRU

4.编码-解码结构

5.attention

5.1 local attention

5.2 self attention

5.3 Hierarchical attention

循环神经网络

标签：网络模式   bsp   width   res   深度   ima   code   cal   image   

原文地址：https://www.cnblogs.com/nxf-rabbit75/p/11613026.html