码迷,mamicode.com
首页 > 其他好文 > 详细

DNN深度神经网络对齐

时间:2014-10-25 13:12:21      阅读:774      评论:0      收藏:0      [点我收藏+]

标签:blog   http   ar   使用   sp   数据   div   on   2014   

1. 论文【1】中使用了DNN的思想进行对齐,对齐所需训练数据来自HMM和IBM Model4,算上输入层一共是四层结构,见下图:

  bubuko.com,布布扣

  效果好于原始的HMM和IBM4,见下图:

  bubuko.com,布布扣

bubuko.com,布布扣  该思路可以用在许多地方,诸如:片段相似度、句子相似度、翻译概率、词向量等计算上。
  
  不过,实际应用的话,DNN还是不能完全击败其他方法,从原理上来说,构造一个包含上下文特征的机器学习模型与此类似,当然可能有人会说词向量隐含了更多特征在其中,但从博主实际使用和观察中看来,词向量作用依然有限,问题可能在于语言的丰富含义与灵活组合上,语言这种东西是活的,而数学表征是死的。
  
  举个例子:词向量相当于将一个字词看作了一个固定的工业零件,它有自己的规格参数,放在什么位置一目了然,但是很可惜,语言这个东西似乎没有那么简单,一个字词更像是一块液态金属,它不仅拥有现在的形状和大小,还可以与其他多种金属块组合,形成新的形状被赋予新的使用方式,例如big这个词有“大”的含义,但如我说big很高呢,那就是“逼格”的意思了,简单的用固定好的维度是无法表示出一个活灵活现的词语的。
 
  说白了,词语是活的,向量是死的。
 
  这就是我认为词向量虽然很有用,但是又不太实用的原因吧,个人有些不太成熟的想法,还有待验证。
 
2. 知识点:

  待补充。。。

  

3. 近似代码实现(python版,使用IBM Model1 + NN):

  后续补充。。。

 

引用:

  【1】ACL‘13, Word Alignment Modeling with Context Dependent Deep Neural Network

 

转载请注明引用自:

  http://www.cnblogs.com/breakthings/p/4049854.html 

 

DNN深度神经网络对齐

标签:blog   http   ar   使用   sp   数据   div   on   2014   

原文地址:http://www.cnblogs.com/breakthings/p/4049854.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!