码迷,mamicode.com
首页 > 其他好文 > 详细

IKAnalyzer中文分词法

时间:2015-05-18 09:09:43      阅读:135      评论:0      收藏:0      [点我收藏+]

标签:java   分词   

package my.IKAnalyzer;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import java.io.IOException;import java.io.StringReader;import java.util.Vector;import org.wltea.analyzer.core.*;public class IKAnalyzerTest {public static Vector participle( String str ) { Vector str1 = new Vector() ;//对输入进行分词 try { StringReader reader = new StringReader( str ); IKSegmenter ik = new IKSegmenter(reader,true);//当为true时,分词器进行最大词长切分 Lexeme lexeme = null ; while( ( lexeme = ik.next() ) != null ) { str1.add( lexeme.getLexemeText() ); } if( str1.size() == 0 ) { return null ; } } catch ( IOException e1 ) { System.out.println(); } return str1;}public static void main(String[] args) throws IOException {File file = new File("F:\\workspace\\work\\src\\my\\IKAnalyzer\\IKTest.txt");FileReader fr = new FileReader(file);BufferedReader br = new BufferedReader(fr);String str = null;while((str = br.readLine())!=null) {Vector res = participle(str);for( int i=0; i<res.size(); i++) { System.out.print(res.get(i)+" "); } System.out.println();} br.close();}}

IKAnalyzer中文分词法

标签:java   分词   

原文地址:http://blog.csdn.net/jlnwan/article/details/45796063

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!