CRF技能词识别过程

标签：

最近在用CRF做未登录技能词识别，虽然艰难，但是感觉很爽，效率非常高。
（1）数据准备：
选取30000行精语料作为训练数据。每一个br作为一条数据。使用已有的技能词典对数据进行无标注分词。
（2）训练数据标注：
对分词后的语料进行标注。如果某分词结果在技能词典中，则该词作为技能词进行标注；如果某分词结果不在词典中，则该词作为与技能无关词进行标注。标注规则如下：
标注采用3列，4-tag方式标注：B：技能词开头字；M：技能词中间字；E：技能词结尾字；A：与技能词无关字。
（3）修改模板：
技能词查找仍属分词系列，故未修改模板。
（4）数据训练：
使用CRF++工具进行模板+训练文本的训练。
（5）测试数据准备：
采用与训练文本同样的方式进行标注。使用模板+测试文本进行测试。
（6）测试数据生成结果：
测试生成标注列与通过词典进行标注的结果进行比较，第一次测试5000条数据共有141471个特征，标注错误数为3750个，错误率为0.0265。
（7）技能词识别成果：
将测试数据中生成的B、M、E进行合成，组成技能词。新技能词采用人工过滤计算比例。


训练：
crf_learn -f 3 -c 4.0 template 4train_text.data yuanbin_crf_model
测试：
crf_test -m yuanbin_crf_model 4test_text.data >>yuanbin_crf_final

CRF技能词识别过程

标签：

原文地址：http://www.cnblogs.com/xpNLP/p/4758527.html