标签：
最近考虑做些英文词语词干化的工作，听说coreNLP这个工具不错，就拿来用了。
coreNLP是斯坦福大学开发的一套关于自然语言处理的工具(toolbox)，使用简单功能强大，有;命名实体识别、词性标注、词语词干化、语句语法树的构造还有指代关系等功能，使用起来比较方便。
coreNLP是使用Java编写的，运行环境需要在JDK1.8，1.7貌似都不支持。这是需要注意的
coreNLP官方文档不多，但是给的几个示例文件也差不多能摸索出来怎么用，刚才摸索了一下，觉得还挺顺手的。
环境：
window7 64位
JDK1.8
需要引进的ar包：
说明：这里只是测试了英文的，所以使用的Stanford-corenlp-3.6.0.models.jar文件，如果使用中文的需要在官网上下对应中文的model jar包，然后引进项目即可。
直接看代码比较简单：
package com.luchi.corenlp;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import edu.stanford.nlp.hcoref.CorefCoreAnnotations.CorefChainAnnotation;
import edu.stanford.nlp.hcoref.data.CorefChain;
import edu.stanford.nlp.ling.CoreAnnotations;
import edu.stanford.nlp.ling.CoreAnnotations.LemmaAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.NamedEntityTagAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.PartOfSpeechAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.SentencesAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.TextAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.TokensAnnotation;
import edu.stanford.nlp.ling.CoreLabel;
import edu.stanford.nlp.pipeline.Annotation;
import edu.stanford.nlp.pipeline.StanfordCoreNLP;
import edu.stanford.nlp.semgraph.SemanticGraph;
import edu.stanford.nlp.semgraph.SemanticGraphCoreAnnotations;
import edu.stanford.nlp.trees.Tree;
import edu.stanford.nlp.trees.TreeCoreAnnotations.TreeAnnotation;
import edu.stanford.nlp.util.CoreMap;
public class TestNLP {
public void test(){
//构造一个StanfordCoreNLP对象，配置NLP的功能，如lemma是词干化，ner是命名实体识别等
Properties props = new Properties();
props.setProperty("annotators", "tokenize, ssplit, pos, lemma, ner, parse, dcoref");
StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
// 待处理字符串
String text = "judy has been to china . she likes people there . and she went to Beijing ";// Add your text here!
// 创造一个空的Annotation对象
Annotation document = new Annotation(text);
// 对文本进行分析
pipeline.annotate(document);
//获取文本处理结果
List<CoreMap> sentences = document.get(SentencesAnnotation.class);
for(CoreMap sentence: sentences) {
// traversing the words in the current sentence
// a CoreLabel is a CoreMap with additional token-specific methods
for (CoreLabel token: sentence.get(TokensAnnotation.class)) {
// 获取句子的token（可以是作为分词后的词语）
String word = token.get(TextAnnotation.class);
System.out.println(word);
//词性标注
String pos = token.get(PartOfSpeechAnnotation.class);
System.out.println(pos);
// 命名实体识别
String ne = token.get(NamedEntityTagAnnotation.class);
System.out.println(ne);
//词干化处理
String lema=token.get(LemmaAnnotation.class);
System.out.println(lema);
}
// 句子的解析树
Tree tree = sentence.get(TreeAnnotation.class);
tree.pennPrint();
// 句子的依赖图
SemanticGraph graph = sentence.get(SemanticGraphCoreAnnotations.CollapsedCCProcessedDependenciesAnnotation.class);
System.out.println(graph.toString(SemanticGraph.OutputFormat.LIST));
}
// 指代词链
//每条链保存指代的集合
// 句子和偏移量都从1开始
Map<Integer, CorefChain> corefChains = document.get(CorefChainAnnotation.class);
if (corefChains == null) { return; }
for (Map.Entry<Integer,CorefChain> entry: corefChains.entrySet()) {
System.out.println("Chain " + entry.getKey() + " ");
for (CorefChain.CorefMention m : entry.getValue().getMentionsInTextualOrder()) {
// We need to subtract one since the indices count from 1 but the Lists start from 0
List<CoreLabel> tokens = sentences.get(m.sentNum - 1).get(CoreAnnotations.TokensAnnotation.class);
// We subtract two for end: one for 0-based indexing, and one because we want last token of mention not one following.
System. out.println(" " + m + ", i.e., 0-based character offsets [" + tokens.get(m.startIndex - 1).beginPosition() +
", " + tokens.get(m.endIndex - 2).endPosition() + ")");
}
}
}
public static void main(String[]args){
TestNLP nlp=new TestNLP();
nlp.test();
}
}
具体的注释都给出来了，我们可以直接看结果就知道代码的作用了：
对于每个token的识别结果：
原句中的：
judy 识别结果为：词性为NN,也就是名词，命名实体对象识别结果为O,词干识别为Judy
注意到has识别的词干已经被识别出来了，是“have”
而Beijing的命名实体标注识别结果为“Location”,也就意味着识别出了地名
然后我们看 解析树的识别（以第一句为例）：
最后我们看一下指代的识别：
每个chain包含的是指代相同内容的词语，如chain1中两个she虽然在句子的不同位置，但是都指代的是第一句的“Judy”,这和原文的意思一致，表示识别正确，offsets表示的是该词语在句子中的位置
当然我只是用到了coreNLP的词干化功能，所以只需要把上面代码一改就可以处理词干化了，测试代码如下：
package com.luchi.corenlp;
import java.util.List;
import java.util.Properties;
import edu.stanford.nlp.ling.CoreLabel;
import edu.stanford.nlp.ling.CoreAnnotations.LemmaAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.SentencesAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.TokensAnnotation;
import edu.stanford.nlp.pipeline.Annotation;
import edu.stanford.nlp.pipeline.StanfordCoreNLP;
import edu.stanford.nlp.util.CoreMap;
public class Lemma {
// 词干化
public String stemmed(String inputStr) {
Properties props = new Properties();
props.setProperty("annotators", "tokenize, ssplit, pos, lemma, ner, parse, dcoref");
StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
Annotation document = new Annotation(inputStr);
pipeline.annotate(document);
List<CoreMap> sentences = document.get(SentencesAnnotation.class);
String outputStr = "";
for (CoreMap sentence : sentences) {
// traversing the words in the current sentence
// a CoreLabel is a CoreMap with additional token-specific methods
for (CoreLabel token : sentence.get(TokensAnnotation.class)) {
String lema = token.get(LemmaAnnotation.class);
outputStr += lema+" ";
}
}
return outputStr;
}
public static void main(String[]args){
Lemma lemma=new Lemma();
String input="jack had been to china there months ago. he likes china very much,and he is falling love with this country";
String output=lemma.stemmed(input);
System.out.print("原句 ：");
System.out.println(input);
System.out.print("词干化：");
System.out.println(output);
}
}
输出结果为：
结果还是很准确的
标签：
原文地址：http://blog.csdn.net/u010223750/article/details/51334458
