码迷,mamicode.com
首页 > 编程语言 > 详细

自然语言交流系统 phxnet团队 创新实训 个人博客 (八)

时间:2017-05-22 21:31:23      阅读:260      评论:0      收藏:0      [点我收藏+]

标签:title   import   aries   home   结果   odi   Lucene   软件   交流   

 

 

今天想测试一下“庖丁”分词的效果,编写了一个测试小程序,从文件中读入文本,并将分词结果显示到控制台。

 

环境平台:Win7+eclipse

 

过程如下:

1.编辑paoding-analysis.jar中的paoding-dic-home.properties文件,去掉“#paoding.dic.home=dic”前面的#号,并将等号后面的dic改为dic文件夹在你本地存放的具体路劲,如:F://workspace//data//dic

(注:编辑paoding-analysis.jar中的文件,可先用WinRAR将paoding-analysis.jar打开,再用记事本或写字板直接编辑paoding-dic-home.properties文件后保存即可)

 

2. 将paoding-analysis.jar、commons-logging.jar、lucene-analyzers-2.2.0.jar和lucene-core-2.2.0.jar四个包导入工程:

①在工程下新建lib文件夹,将这四个包复制进来;

②右键单击工程->Properties->Java Build Path,在右侧选中第三个标签Libraries,点击Add JARs…,导入上述四个包;

③再选择第四个标签Order and Export,勾选上这四个包,点击OK按钮。

 

3. 创建一个主类,编写测试小程序,如下:

import Java.io.*;

import org.apache.lucene.analysis.Analyzer;

import org.apache.lucene.analysis.Token;

import org.apache.lucene.analysis.TokenStream;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

 

public class FenciTest {

 

    public static void main(String[] args)

    {

       Analyzer analyzer = new PaodingAnalyzer();

       String docText = null;

       File file = new File("F://Work//workSpace//FenciTest//data//test1.txt");

       docText = readText(file);

      

       TokenStream tokenStream = analyzer.tokenStream(docText, new StringReader(docText));

       try {

           Token t;

           //System.out.println(docText);

           while ((t = tokenStream.next()) != null)

           {

               System.out.println(t);

           }

       } catch (IOException e) {

           e.printStackTrace();

       }

 

    }

   

    private static String readText(File file) {

       String text = null;

       try

       {

           InputStreamReader read1 = new InputStreamReader(new FileInputStream(file), "GBK");

           BufferedReader br1 = new BufferedReader(read1);   

           StringBuffer buff1 = new StringBuffer();    

           while((text = br1.readLine()) != null)

           {   

              buff1.append(text + "/r/n");   

           }   

           br1.close();        

           text = buff1.toString();

       } 

       catch(FileNotFoundException e) 

       {  

           System.out.println(e); 

       } 

       catch(IOException e) 

       {  

           System.out.println(e); 

       }

       return text;

    }

}

自然语言交流系统 phxnet团队 创新实训 个人博客 (八)

标签:title   import   aries   home   结果   odi   Lucene   软件   交流   

原文地址:http://www.cnblogs.com/qiaoyanlin/p/6891275.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!