码迷,mamicode.com
首页 > 其他好文 > 详细

使用Moses中tokenizer.perl无法正常工作:纠结的"<" 和">"(已解决)

时间:2014-08-24 01:39:01      阅读:298      评论:0      收藏:0      [点我收藏+]

标签:style   blog   color   os   使用   io   ar   div   log   

发现居然没有输入文本和输出文本,折腾了一晚上,到了半夜终于搞懂了:

官方的Manual上这么写的:

The tokenisation can be run as follows:

 ~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en     < ~/corpus/training/news-commentary-v8.fr-en.en        > ~/corpus/news-commentary-v8.fr-en.tok.en
 ~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l fr \ 
    < ~/corpus/training/news-commentary-v8.fr-en.fr        > ~/corpus/news-commentary-v8.fr-en.tok.fr

MLGB的写的太不精确了(虽然仔细一想也很精确),一直以为 ‘<‘和‘>‘这俩货是Linux自动换行给的呢卧槽!有没有搞错,但是正常使用的话,这两个符号表示从制定位置输入和输出,尼玛啊!!!!!

使用Moses中tokenizer.perl无法正常工作:纠结的"<" 和">"(已解决)

标签:style   blog   color   os   使用   io   ar   div   log   

原文地址:http://www.cnblogs.com/hitnoah/p/3932161.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!