RNN

标签：long   roc   neu   lan   sky   nbsp   积累   nat   network   

RNN（Recurrent Neural Networks）循环神经网络

广泛应用于自然语言处理（NLP，Natural Language Processing）

Back Propagation Through Time

Vanishing gradient problem

LSTM，

长期依赖，long term dependencies

the clouds are in the sky，推测最后一个词sky

I grew up in France...I speak fluent French，推测最后一个词French，间隔比较大

定向循环，可以持久化信息

人们阅读时，都是基于之前的积累来理解当前的词，而不总是从一片空白开始。

 序列

参考链接：

http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

RNN

标签：long   roc   neu   lan   sky   nbsp   积累   nat   network   

原文地址：https://www.cnblogs.com/yangwenhuan/p/8046450.html