无论在 FPGA 还是 ASIC 设计，无论针对 CNN 还是 LSTM 与 MLP，无论应用在嵌入式终端还是云端（TPU1），其构架的**核心都是解决带宽问题**。不解决带宽问题，空有计算能力，利用率却提不上来。 ...
分类：
其他好文 时间：
2017-11-15 21:46:55
阅读次数：
249
RNN，LSTM，seq2seq等模型广泛用于自然语言处理以及回归预测，本期详解seq2seq模型以及attention机制的原理以及在回归预测方向的运用。 ...
分类：
其他好文 时间：
2017-11-14 19:38:57
阅读次数：
661
Page 1Published as a conference paper at ICLR 2017AS IMPLE BUT T OUGH - TO -B EAT B ASELINE FOR S EN -TENCE E MBEDDINGSSanjeev Arora, Yingyu Liang, Te ...
分类：
其他好文 时间：
2017-11-11 16:45:56
阅读次数：
368
Neil Zhu，简书ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。 作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早 ...
分类：
其他好文 时间：
2017-11-05 11:27:13
阅读次数：
181
近些年来，随着深度学习的崛起，RNN模型也变得非常热门。如果把RNN模型按照时间轴展开，它也类似其它的深度神经网络模型结构。因此，我们可以参照已有的方法训练RNN模型。 现在最流行的一种RNN模型是LSTM（长短期记忆）网络模型。 尽管我们可以借助Tensorflow、Torch、Theano等深度 ...
分类：
其他好文 时间：
2017-10-24 19:35:04
阅读次数：
325
LSTM入门学习 摘自：http://blog.csdn.net/hjimce/article/details/51234311 下面先给出LSTM的网络结构图： 看到网络结构图好像很复杂的样子，其实不然，LSTM的网络结构图无非是为了显示其高大上而已，这其实也是一个稍微比RNN难那么一丁点的算法。 ...
分类：
其他好文 时间：
2017-10-23 13:18:10
阅读次数：
3309
作者 | 张皓 引言 RNN是深度学习中用于处理时序数据的关键技术， 目前已在自然语言处理， 语音识别， 视频识别等领域取得重要突破， 然而梯度消失现象制约着RNN的实际应用。LSTM和GRU是两种目前广为使用的RNN变体，它们通过门控机制很大程度上缓解了RNN的梯度消失问题，但是它们的内部结构看上 ...
分类：
其他好文 时间：
2017-10-22 22:08:19
阅读次数：
200
往期RNN相关工程实践文章 『TensotFlow』基础RNN网络分类问题 『TensotFlow』RNN中文文本_上 『TensotFlow』基础RNN网络回归问题 『TensotFlow』RNN中文文本_下_暨研究生开学感想 背景 赶着这个周末把之前一直感兴趣的RNN文本生成实现了一下，实际效果 ...
分类：
其他好文 时间：
2017-10-22 21:29:30
阅读次数：
374
本文转自：http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html 其中，带黑点的表示离散的向量表示，否则表示连续的向量空间。 3、使用深度RNN LSTM单元结构如下： 那时候的NN模型还是仅限于重新排序传统MT模型产生的结果，而最新的研究就是完全甩开了M ...
分类：
其他好文 时间：
2017-10-20 21:35:44
阅读次数：
525
BP算法是神经网络的基础，也是最重要的部分。由于误差反向传播的过程中，可能会出现梯度消失或者爆炸，所以需要调整损失函数。在LSTM中，通过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程中，需要进行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同样存在着这样的问题，所以 ...
分类：
编程语言 时间：
2017-10-19 16:32:34
阅读次数：
681
