主要两个方面 Probabilistic modeling 概率建模，神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网...
分类：
编程语言 时间：
2015-12-16 21:16:45
阅读次数：
1080
1、打开本地要提交的项目名称 如cd cuda-workspace/rnn-eric2、登录GitHub账户，点击Newrepository，填写仓库名如rnn-eric3、touch README.mdgit initgit add *git commit -m 'initial project ...
分类：
其他好文 时间：
2015-10-23 18:03:19
阅读次数：
158
Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks]Alex是RNN最著名变种，LSTM发明者Jürgen Schmidhuber的高徒，现加入University of Toront...
分类：
Web程序 时间：
2015-08-15 13:29:41
阅读次数：
914
建议按序阅读1. RNN论文：Aguidetorecurrentneural networks and backpropagationDeep learning：四十九(RNN-RBM简单理解) :http://www.cnblogs.com/tornadomeet/p/3439503.html2....
分类：
其他好文 时间：
2015-08-08 14:46:44
阅读次数：
110
Go Go Go
第十讲也顺利结束啦，不愧是Advanced Recursive NN讲得内容确实有些Advanced，不过如果认真听课再认真看课后的paper的话，我相信还是可以完全理解的。
开始总结喽。。。
首先，老师在课上开篇讲了RNN的一个综述吧，也是使用RNN进行NLP的三个大的要素：1.Train objective主要有两种，一种是cross-entropy或者ma...
分类：
其他好文 时间：
2015-08-04 23:06:02
阅读次数：
301
最近几课的内容不是很难，还有我的理解能力有所提高（自恋一下），所以这几课完成的都挺快。不知不觉lec9也完成了。这一讲讲了另一个RNN，其中R是Recursive不是之前的Recurrent。课上老师使用Recursive NN来做NLP和CV的任务，我个人认为做CV还是不错的，这个NLP怎么感觉有点不靠谱。不管怎么说这个model还是解决了很多实际问题的，而且性能也不错，现在就来记录记录喽。...
分类：
其他好文 时间：
2015-08-02 01:01:31
阅读次数：
271
欢迎转载，转载注明出处：http://www.cnblogs.com/NeighborhoodGuo/p/4694955.html最近几课的内容不是很难，还有我的理解能力有所提高（自恋一下），所以这几课完成的都挺快。不知不觉lec9也完成了。这一讲讲了另一个RNN，其中R是Recursive不是之前...
分类：
其他好文 时间：
2015-08-02 00:59:10
阅读次数：
135
Deep Learning 方向的部分 Paper ，自用。一 RNN1 Recurrent neural network based language model RNN用在语言模型上的开山之作2 Statistical Language Models Based on Neural Networ...
分类：
其他好文 时间：
2015-07-18 13:53:20
阅读次数：
145
作者：Mingxuan Wang，李航，刘群
单位：华为、中科院
时间：2015
发表于：acl 2015
文章下载：http://pan.baidu.com/s/1bnBBVuJ主要内容：
用deep learning设计了一种语言模型，能够根据之前“所有”的历史来预测当前词的条件概率。用语言模型迷惑度衡量、用机器翻译衡量，该模型都比baseline（5-gram、RNN、等）好具体内容...
分类：
其他好文 时间：
2015-06-29 22:21:28
阅读次数：
244
