早早爬起来赶到北大光华听百度分会场的报告，把听到的简要记述一下。李鹏 自然语言理解中的深度学习首先梳理自然语言理解这个问题，提出基本问题是：
Tagging:例如命名实体识别
Generation：翻译,问答->多轮对话
然后是具体的例子：
Tagging问题的例子：语义角色标注
解决Who do what at where…等等句子逻辑成分划分的问题
分词...
分类：
编程语言 时间：
2015-06-07 14:37:30
阅读次数：
464
1. vanish of gradientRNN的error相对于某个时间点t的梯度为：\(\frac{\partial E_t}{\partial W}=\sum_{k=1}^{t}\frac{\partial E_t}{\partial y_t}\frac{\partial y_t}{\part...
分类：
Web程序 时间：
2015-06-02 17:30:41
阅读次数：
227
深入探究递归神经网络：大牛级的训练和优化如何修成？摘要：不同于传统FNN，RNN无需在层面之间构建，同时引入定向循环，能够更好地处理高维度信息的整体逻辑顺序。本文中，MIT的Nikhil Buduma将带您深入探析RNN的原理、训练和优化等各方面的内容，以及RNN已经获取的一些成就。在深度学习领域，...
分类：
其他好文 时间：
2015-05-22 00:06:44
阅读次数：
266
这篇介绍rwthlm输入层的结构，以及整个网络训练的框架。对于rwthlm的rnn结构部分在隐层我觉的还是比较常见的实现方式了，如果在训练rwthlm时指定了用rnn来训练，那么输入层的结构也会带有循环部分，关于这一点，在代码中我会说明。仍然是如果有任何错误，欢迎看到的朋友指出，再次谢过~
输入层的实现在tablelookup.cc里面，在第一次看这个包时，看文件名大概就知道哪些文件属于神经网络...
分类：
其他好文 时间：
2015-05-01 10:48:29
阅读次数：
244
参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit（点此打开）
参考文献：STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS（点此打开）
由Mikolov用rnn对语言进行建模所获得的效果已经超过传统的N-GRAM了，具体的实验结...
分类：
其他好文 时间：
2015-03-30 13:26:32
阅读次数：
252
JuergenSchmidhuber 是瑞士的一位牛人，主要贡献是rnn, lstm。google的deep mind新作，Human-level control through deep reinforcement learning一文出来，这位大神表达了不满。原因就是文章中提到说他们是第一次实现...
分类：
其他好文 时间：
2015-03-05 16:24:32
阅读次数：
153
http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。lstm则是rnn的一种特例。r...
分类：
其他好文 时间：
2015-03-03 09:51:32
阅读次数：
167
Today I saw new progress in RNN attention mechism. But I cannot understad the paper. I must spend more time on this. I must hurry up.I refine the sequ...
分类：
其他好文 时间：
2015-03-01 22:15:05
阅读次数：
140
斯坦福大学建立了一个可以对图像内容产生自然语言描述的模型NeuralTalk，它是一个开源的Python工具，它可以从图像生成文本描述。它实现了Google (Vinyals等，卷积神经网络CNN + 长短期记忆LSTM) 和斯坦福 (Karpathy and Fei-Fei， CNN + 递归神经网络RNN)的算法。它可以从一副图像用递归神经网络（LSTM或RNN）得到一句描述这幅图像的话。...
分类：
其他好文 时间：
2014-12-09 12:21:19
阅读次数：
1058
本文的起源来自最近一个让我非常不爽的事。我最近在改一个开源RNN工具包currennt（http://sourceforge.net/projects/currennt/），想用它实现RNNLM功能。currennt使用了大量的面向对象的编程技巧，可以使用GPU，向量运算使用了thrust库（htt...
分类：
编程语言 时间：
2014-12-05 20:53:17
阅读次数：
1398
