码迷,mamicode.com
首页 > 编程语言 > 详细

SRILM语言模型格式解读

时间:2017-08-29 17:15:57      阅读:297      评论:0      收藏:0      [点我收藏+]

标签:str   span   word   log   http   格式   htm   tag   ons   

先看一下语言模型的输出格式

 

[html] view plain copy
 
  1. \data\  
  2. ngram 1=64000  
  3. ngram 2=522530  
  4. ngram 3=173445  
  5.   
  6. \1-grams:  
  7. -5.24036        ‘cause  -0.2084827  
  8. -4.675221       ‘em     -0.221857  
  9. -4.989297       ‘n      -0.05809768  
  10. -5.365303       ‘til    -0.1855581  
  11. -2.111539       </s>    0.0  
  12. -99     <s>     -0.7736475  
  13. -1.128404       <unk>   -0.8049794  
  14. -2.271447       a       -0.6163939  
  15. -5.174762       a‘s     -0.03869072  
  16. -3.384722       a.      -0.1877073  
  17. -5.789208       a.‘s    0.0  
  18. -6.000091       aachen  0.0  
  19. -4.707208       aaron   -0.2046838  
  20. -5.580914       aaron‘s -0.06230035  
  21. -5.789208       aarons  -0.07077657  
  22. -5.881973       aaronson        -0.2173971  

(注:上面的值都是以10为底的对数值)

 


上面是一个语言模型的一部分,三元语言模型的综合格式如下:

 

[html] view plain copy
 
  1. \data  
  2. ngram 1=nr # 一元语言模型  
  3. ngram 2=nr # 二元语言模型  
  4. ngram 3=nr # 三元语言模型  
  5.    
  6. \1-grams:  
  7. pro_1 word1 back_pro1  
  8.    
  9. \2-grams:  
  10. pro_2 word1 word2 back_pro2  
  11.    
  12. \3-grams:  
  13. pro_3 word1 word2 word3  
  14.    
  15. \end\  

第一项表示ngram的条件概率,就是P(wordN | word1,word2,。。。,wordN-1)。

 

第二项表示ngram的词。

最后一项是回退的权重。

 

举例来说,对于三个连续的词来说,我们计算三个词一起出现的概率:

 

[html] view plain copy
 
  1. P(word3|word1,word2)  

表示word1和word2出现的情况下word3出现的概率,比如P(平|习,进)的意思是已经出现了“习进”两个字,后面是平的概率,这个概率这么计算:

 

 

[html] view plain copy
 
  1. if(存在(word1,word2,word3)的三元模型){  
  2.   
  3.     return pro_3(word1,word2,word3) ;  
  4.   
  5. }else if(存在(word1,word2)二元模型){  
  6.   
  7.     return back_pro2(word1,word2)*P(word3|word2) ;  
  8.   
  9. }else{  
  10.       
  11.     return P(word3 | word2);  
  12.   
  13. }  


上面的计算又集中在计算P(word3 | word2)的概率上,就是如果不存在习进平的三元模型,此时不管何种路径,都要计算P(word3 | word2) 的概率,计算如下:

 

 

[html] view plain copy
 
    1. if(存在(word1,word2)的二元模型){  
    2.   
    3.     return pro_2(word1,word2);  
    4.   
    5. }else{  
    6.       
    7.     return back_pro2(word1)*pro_1(word2) ;  
    8.   
    9. }  

SRILM语言模型格式解读

标签:str   span   word   log   http   格式   htm   tag   ons   

原文地址:http://www.cnblogs.com/dahu-daqing/p/7449200.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!