词向量: 将词语"嵌入"到一个N维空间，使得词语相近的词语放到相近的位置。 机器翻译类不类似于矩阵的变换？ 谷歌出品的一个工具Word2Vec，用于入门。 句向量？段向量？文档向量? 很多事情向量化，可以解决很多问题。 传统的one-hot 编码的原来是，有多少个字就有多少个维度. 科[1,0,0, ...
分类：
编程语言 时间：
2017-04-02 14:30:29
阅读次数：
173
干货 | 图解LSTM神经网络架构及其11种变体（附论文） 2016-10-02 机器之心 选自FastML 作者：Zygmunt Z. 机器之心编译 参与：老红、李亚洲 就像雨季后非洲大草原许多野生溪流分化成的湖泊和水洼，深度学习已经分化成了各种不同的专门架构。 并且，每个架构都会有一个图解，这里 ...
分类：
其他好文 时间：
2017-03-26 19:18:06
阅读次数：
203
DNN,CNN,RNN:1.DNN:深度神经网络，或称多层感知机。解决早期单层感知机对于复杂函数不能模拟的情况。其形式为层之间全连接。实用sig等连续性函数模拟神经对机理的响应，训练算法使用 BP。 2.问题：只是名义上的深层。 a：随着层数的加深，优化函数更加容易陷入局部最优解。并且会越来越偏离 ...
分类：
其他好文 时间：
2017-03-24 15:45:13
阅读次数：
128
灵感 因为最近一直在做rnn based NLP，其中无论是什么cell，lstm， GRU或者cnn都是基于单词的embedding表示；单词的embdding就是把每个单词表示成一个向量， 然后通过bp训练这些向量的值，这种想法很奇妙，于是我尝试性的把这种思想用在logistic regress ...
分类：
其他好文 时间：
2017-03-16 18:36:09
阅读次数：
264
1. 常用类class tf.contrib.rnn.BasicLSTMCellBasicLSTMCell 是最简单的一个LSTM类，没有实现clipping，projection layer，pee...
分类：
其他好文 时间：
2017-03-10 18:23:53
阅读次数：
1020
本人最初接触lstm的时候，就非常害怕地去看着它，我的个去，这么多结构，这个公式会有多么的复杂，然而本人就是那么地任性，一旦下定决心之后，就一定要把它详细地去搞清楚，否则心不甘啊，哈哈！废话不多说啦，进入正文。大家都知道RNN网络，存在比较严重的问题就是梯度消失问..
分类：
其他好文 时间：
2017-03-09 01:07:15
阅读次数：
311
Highway LSTM 学习笔记 zoerywzhou@gmail.com http://www.cnblogs.com/swje/ 作者：Zhouwan 2016-4-5 声明 1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文 ...
分类：
其他好文 时间：
2017-02-21 22:12:37
阅读次数：
358
注：本文主要是在http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 这篇文章的基础上理解写成，姑且也可以称作 The understanding of understanding LSTM network. 感谢此篇作者的无私分享和通俗 ...
分类：
其他好文 时间：
2016-12-05 13:52:28
阅读次数：
458
众所周知，LSTM的一大优势就是其能够处理变长序列。而在使用keras搭建模型时，如果直接使用LSTM层作为网络输入的第一层，需要指定输入的大小。如果需要使用变长序列，那么，只需要在LSTM层前加一个Masking层，或者embedding层即可。 使用方法：首先将序列转换为定长序列，如，选取一个序 ...
分类：
其他好文 时间：
2016-11-22 14:59:39
阅读次数：
1655
由于实验室事情缘故，需要将Python写的神经网络转成Java版本的，但是python中的numpy等啥包也不知道在Java里面对应的是什么工具，所以索性直接寻找一个现成可用的Java神经网络框架，于是就找到了JOONE，JOONE是一个神经网络的开源框架，使用的是BP算法进行迭代计算参数，使用起来 ...
分类：
编程语言 时间：
2016-11-11 17:20:57
阅读次数：
310
