网上有很多Simple RNN的BPTT算法推导。下面用自己的记号整理一下。 我之前有个习惯是用下标表示样本序号，这里不能再这样表示了，因为下标需要用做表示时刻。 典型的Simple RNN结构如下： 图片来源：[3] 约定一下记号： 输入序列 $\textbf x_{(1:T)} =(\textb ...
分类：
编程语言 时间：
2017-03-19 10:56:05
阅读次数：
305
0: 原则上，loss函数都应该选convex函数，convex函数的定义就是函数上方得点是一个convex集合 1: 之前使用的0-1的数据预测正负样本，loss函数选用的是cross entropy loss， 实际上这里的0-1 cross entropy和seq2seq的softmax cr ...
分类：
其他好文 时间：
2017-03-16 22:03:47
阅读次数：
1301
灵感 因为最近一直在做rnn based NLP，其中无论是什么cell，lstm， GRU或者cnn都是基于单词的embedding表示；单词的embdding就是把每个单词表示成一个向量， 然后通过bp训练这些向量的值，这种想法很奇妙，于是我尝试性的把这种思想用在logistic regress ...
分类：
其他好文 时间：
2017-03-16 18:36:09
阅读次数：
264
1. 常用类class tf.contrib.rnn.BasicLSTMCellBasicLSTMCell 是最简单的一个LSTM类，没有实现clipping，projection layer，pee...
分类：
其他好文 时间：
2017-03-10 18:23:53
阅读次数：
1020
本人最初接触lstm的时候，就非常害怕地去看着它，我的个去，这么多结构，这个公式会有多么的复杂，然而本人就是那么地任性，一旦下定决心之后，就一定要把它详细地去搞清楚，否则心不甘啊，哈哈！废话不多说啦，进入正文。大家都知道RNN网络，存在比较严重的问题就是梯度消失问..
分类：
其他好文 时间：
2017-03-09 01:07:15
阅读次数：
311
在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识 ...
分类：
编程语言 时间：
2017-03-06 21:05:08
阅读次数：
355
建立表空间文件（物理地址） create tablespace buiqudb logging datafile 'E:\DB\ORADBDATA\buiqudb.dbf' size 10240m autoextend on next 500m maxsize 20480m extent manag ...
分类：
其他好文 时间：
2017-02-18 21:10:00
阅读次数：
236
