折叠导航HanLP下载文档联系关于开源自由的汉语言处理包功能全面调用简单 欢迎使用HanLP HanLP v1.2.4 HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。不仅仅是分词,而是提供词法分析、句法分析、语义理解等完备的功能。HanLP具备功...
分类:
编程语言 时间:
2015-08-10 01:55:09
阅读次数:
334
句法分析是自然语言处理领域的一个关键问题,如能将其有效解决,一方面,可对相应树库构建体系的正确性和完善性进行验证;另一方面,也可直接服务于各种上层应用,比如搜索引擎用户日志分析和关键词识别,比如信息抽取、自动问答、机器翻译等其他自然语言处理相关的任务。 短语结构和依存结构是目前句法分析中研究最...
分类:
其他好文 时间:
2015-07-28 12:44:38
阅读次数:
1291
preface: 最近忙着的项目想试着用斯坦福的parser,来解析句子生成句法分析树,然后分析子树,与treekernal结合起来,训练。stanford parser神器下载下来了,可使用却是蛋疼。一大堆说明,却没个方便快捷关于总的介绍。
一、必先利其器
stanford parser主页:http://nlp.stanford.edu/software/lex-parser.sh...
分类:
其他好文 时间:
2015-07-12 00:20:50
阅读次数:
244
了解PLSQL程序性能影响性能常见原因1.尽量使用存储过程,避免使用PL/SQL匿名块存储过程创建后,oracle会对其进行语法句法分析,以编译的形式存储在数据库中,当客户端调用时,只需要发送一条调用指令,避免了匿名块在网上传送大量源代码,降低了网络通信的负担,同时因为仅在创..
分类:
数据库 时间:
2015-04-09 12:14:05
阅读次数:
319
预备知识
语言模型
[摘自 维基百科]
统计式的语言模型是借由一个概率分布,而指派概率给字词所组成的字串:
语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的概率变得很困难,这也是要使用近似的平滑n元语法...
分类:
编程语言 时间:
2015-04-06 15:45:25
阅读次数:
226
依存句法分析在自然语言处理NLP中是比较重要的一项技术,FudanNLP工具箱中提供了一种依存句法分析的实现。这篇文章我们来试着使用FudanNLP实现依存句法分析,并看看分析的效果是什么样的形式,以及效果如何。
首先,我们下载了FudanNLP的工具箱源码(开源),依存句法分析的主代码就在example文件夹中的DepParse.java中。
这个程序中支持的...
分类:
其他好文 时间:
2015-03-09 14:29:09
阅读次数:
149
http://blog.csdn.net/heavendai/article/details/7228621CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一,常用于句法分析、命名实体识别、词性标注等。在我看来,CRF就像一个反向的隐马尔可夫...
分类:
其他好文 时间:
2015-01-04 15:13:57
阅读次数:
162
NLP中常用的PTB语料库,全名Penn Treebank。Penn Treebank是一个项目的名称,项目目的是对语料进行标注,包括词性标注以及句法分析。语料来源为:1989年华尔街日报语料规模:1M words,2499篇文章语料价格:$1700Penn Treebank项目有两个发行版,Tre...
分类:
其他好文 时间:
2014-12-17 00:08:22
阅读次数:
1274
这是一个判别式汉语句法分析器的Java实现,基于最大熵模型和最大生成树模型,实现了中文依存句法的自动分析,在封闭测试集(取自训练集)上取得了99.20%的准确率(UA),分析速度达到570.7句/秒。判别式的分析方法该方法采用条件概率模型,将所有依存关系概率的累积作为目标函数的score,取scor...
分类:
其他好文 时间:
2014-11-26 20:37:23
阅读次数:
145
NLP分析技术大致分为三个层面:词法分析、句法分析和语义分析。...
分类:
其他好文 时间:
2014-11-26 11:27:01
阅读次数:
147