导读 本文讨论了最新爆款论文(Training RNNs as Fast as CNNs)提出的LSTM变种SRU(Simple Recurrent Unit)，以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测试了准确性以及与LSTM、CNN的速度对比。 一 、为什么要提出SRU？ ...
分类：
其他好文 时间：
2018-04-24 21:57:20
阅读次数：
1235
具体资料可以查阅网上，这里提到一些难理解的点。别人讲过的知识点我就不重复了。 LSTM 的关键就是细胞状态，按照水平线从左向右运行，如同履带，在整个链上运行。 根据时间t-1，t，t+1，我们可以看出时间顺序 完整的一个数据图如下图： LSTM 有称作为“门”的结构来去除或者增加信息到细胞状态的能力 ...
分类：
其他好文 时间：
2018-04-19 00:36:19
阅读次数：
234
朴素rcnn - 梯度消失严重LSTM长短时记忆模型，有效捕捉长时记忆包含四个神经元组：一个记忆神经元三个控制门神经元：输入、忘记、输出 注意：输入调制门、输出调制门 3个输入：前一时刻的隐藏状态h、前一时刻的记忆状态c、当前时刻的输入x2个输出：当前时刻的隐含状态h，当前时刻的记忆状态ci、f、o ...
分类：
其他好文 时间：
2018-04-17 15:11:09
阅读次数：
143
tensorflow实现基于LSTM的文本分类方法 作者：u010223750 引言 学习一段时间的tensor flow之后，想找个项目试试手，然后想起了之前在看Theano教程中的一个文本分类的实例，这个星期就用tensorflow实现了一下，感觉和之前使用的theano还是有很大的区别，有必要 ...
分类：
其他好文 时间：
2018-04-07 16:10:29
阅读次数：
338
循环神经网络的简单实现： 与单一tanh循环体结构不同，LSTM是一个拥有三个门结构的特殊网络结构。 LSTM靠一些门结构让信息有选择性的影响循环神经网络中每个时刻的状态，所谓的门结构就是一个使用sigmoid神经网络和一个按位做乘法的操作，这两个操作合在一起就是一个门结构。之所以该结构叫门是因为使 ...
分类：
其他好文 时间：
2018-04-07 14:57:43
阅读次数：
233
循环神经网络的简单实现： 与单一tanh循环体结构不同，LSTM是一个拥有三个门结构的特殊网络结构。 LSTM靠一些门结构让信息有选择性的影响循环神经网络中每个时刻的状态，所谓的门结构就是一个使用sigmoid神经网络和一个按位做乘法的操作，这两个操作合在一起就是一个门结构。之所以该结构叫门是因为使 ...
分类：
其他好文 时间：
2018-04-07 01:14:35
阅读次数：
186
闲来无聊，整理下，以飨各位 K-means，如何用hadoop实现k-meansnaive bayes和logistic regression的区别LDA的原理和推导做广告点击率预测，用哪些数据什么算法推荐系统的算法中最近邻和矩阵分解各自适用场景 需要进行公式推导的 SVM LR 贝叶斯 LSTM ...
分类：
其他好文 时间：
2018-04-06 18:40:44
阅读次数：
505
GMM-HMM语音识别模型原理篇隐马尔科夫模型-HMM-ATutorialOnHiddenMarkovModels0.概念：语音信号处理/模式识别/统计分析，1.算法:常用的深度学习算法，包括cnn/dnn/rnn/lstm;GMM/SVM/CRF/MaxEnt/HMM;对CTC有经验;2.框架:熟悉至少一种深度学习框架，包括kaldi,tensorflow,caffe,mxnet等；常用工具如C
分类：
其他好文 时间：
2018-04-03 17:24:57
阅读次数：
344
之前以为直接使用 就可以完成学习，后面发现和paper的意思不匹配，这一层是需要单独获取的。 先附上可以参考的链接: 1. "LSTM里Embedding Layer的作用是什么" 2. "http://www.cnblogs.com/iloveai/p/word2vec.html" 3. "原文" ...
分类：
其他好文 时间：
2018-04-01 16:03:26
阅读次数：
433
众所周知，通过Bilstm已经可以实现分词或命名实体标注了，同样地单独的CRF也可以很好的实现。既然LSTM都已经可以预测了，为啥要搞一个LSTM+CRF的hybrid model? 因为单独LSTM预测出来的标注可能会出现（I-Organization->I-Person,B-Organizati... ...
分类：
其他好文 时间：
2018-03-26 16:50:37
阅读次数：
816
