码迷,mamicode.com
首页 > 其他好文 > 详细

神经网络建模的一些感悟;

时间:2017-03-16 21:35:00      阅读:435      评论:0      收藏:0      [点我收藏+]

标签:bsp   sig   put   长度   搜索   个数   填充   思考   转换   

2016/10/6
1: 用自定义的weighted loss来看, 10000个batch仍然没有收敛;
2:仍然使用sigmoid cross entropy loss, 7 epoches 左右仍然收敛,对于7w数据;
3:改动loss, 避免nan loss的出现;
 
2016/12/6
1: 用lstm做classfication, 思路是将问题和答案各自转换成一个1000维向量,softmax作为1000个主题的概率,然后算点积和,最大化点积和的情况是两个属于同一个主题的概率最大;failed.
2: 用weighted lstm,思想是不用lstm的最终向量,而是用每个词的output向量,根据单词的weight来做加权平均作为最终的向量; failed. 
     结果证明同时训练单词的weight和用weighted average lstm中间向量,结果还不如直接用lstm的最终output;
     NAN loss极有可能是分母为0所导致的;
 
2017/1/12 
1: 用normalize的方法将word embedding正规化,
     一般而言,tf提供了两种主流的方法,一种是L2的方法,就是将每个维度的数平方加起来等于1, 一种是local normalize的方法,分别搜索tf.nn.l2_normalize 和tf.nn.local_response_normalization。
     另外,tf提供了很多的算矩的方法,可以根据矩(均值和方差)来做normalize,见tf.nn.moments
 
2: 对于lstm output用cnn的思考
     2.1:lstm output的话,对于一个句子,output的向量维度是[batch size, sentence length, rnn dimension, 2]
     (最后的一个2是因为采用的是bi-directional rnn,所以有两个值),
      所用的convolution方法是在sentence length的维度上取三个单词,在rnn dimension上取所有的长度,然后取256个channels,
     这样输出的向量就是[batch size, sentence length, 1, 256]. 然后relu处理(对所有的点取max(x, 0)),最后在sentence length的维度上maxpool;
     2.2 : 这里主要有几个问题
          1: sentence length取得是150, 但是其中包含了大量的填充,可能真实句子就只有15个词汇,剩下135全是填充词汇;
          2: rnn dimension上的不同维度代表不同的相对意义,但是线性的结合起来是否不合理?
 
3: 因为实际的训练数据可能存在一定的bad case;因此每次训练一个batch,抛出top 5%最高的的loss;
 
2017/1/23
 经过两天的训练,发现lstm_cnn模型最后收敛到了0.693147,这个数值代表所有的预测概率值都是0.5,有时候真的不是模型复杂最后结果好的;总结一句就是数据简单就上简单模型,数据复杂就试试增大模型体量,增加层数和参数数量;
 
 

神经网络建模的一些感悟;

标签:bsp   sig   put   长度   搜索   个数   填充   思考   转换   

原文地址:http://www.cnblogs.com/LarryGates/p/6561470.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!