一、中文分词:分词就是利用计算机识别出文本中词汇的过程。
1.典型应用:汉字处理:拼音输入法、手写识别、简繁转换 ;信息检索:Google 、Baidu ;内容分析:机器翻译、广告推荐、内容监控
;语音处理:语音识别、语音合成 。 2.分词难点:歧义、新词等。 3.分词技术:机械分词(查词典FMM/...
分类:
其他好文 时间:
2014-06-07 06:04:35
阅读次数:
511
-vmD:/jdk-6u17-windows-i586/jdk1.6.0_17/bin/javaw.exe-startupplugins/org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar-nlen_US--launcher.librarypl...
分类:
系统相关 时间:
2014-06-03 06:36:03
阅读次数:
260
Lucene是一个高性能的java全文检索工具包,它使用的是倒排文件索引结构。该结构及相应的生成算法如下:
0)设有两篇文章1和2 文章1的内容为:Tom lives in Guangzhou,I live in Guangzhou too. 文章2的内容为:He
once lived i...
分类:
其他好文 时间:
2014-05-31 15:14:01
阅读次数:
302
package index;import java.io.File;import
java.io.IOException;import
org.apache.lucene.analysis.standard.StandardAnalyzer;import
org.apache.lucene.docu...
分类:
其他好文 时间:
2014-05-29 22:51:15
阅读次数:
317
TokenStream是一个能在被调用后产生语汇单元流的类,但是 TokenStream
类有两个不同的类型:Tokenizer 类和 TokenFilter 类。这两个类都是从抽象类TokenStream类继承而来。 Tokenizer
对象通过Java.io.Reader 对象读取字符...
分类:
其他好文 时间:
2014-05-29 15:01:26
阅读次数:
551
问题:ERRORorg.springframework.web.context.ContextLoader:(ContextLoader.java:215)-Contextinitializationfailedorg.springframework.beans.factory.BeanCreati...
分类:
其他好文 时间:
2014-05-26 20:17:33
阅读次数:
205
Alfresco 是一个开源的企业内容管理系统(ECM),功能相对于微软的SharePoint,
Documentum与FileNet这样的产品。 支持多国语言, 支持LDAP, NTLM, Kerberos,活动目录,支持与Ms
Sharepoint,Google Docs的集成, 跨平台,支持W...
分类:
其他好文 时间:
2014-05-25 22:03:04
阅读次数:
525
Lucene.net是一个搜索引擎的框架,它自身并不能实现搜索,需要我们自己在其中实现索引的建立,索引的查找。所有这些都是根据它自身提供的API来实现。Lucene.net本身是基于java的,但是经过翻译成.ne版本的,可以在ASP.net中使用这个来实现站内搜索。
要实现基于汉语的搜索引擎,首先的要实现汉语的分词。目前网上大部分都是利用已经有的盘古分词来实现的分词系统,但是...
分类:
Web程序 时间:
2014-05-25 21:40:26
阅读次数:
512
分词系统建立完毕,这是基础也是核心,后面我们建立索引要用到分词系统。
下面依次讲解索引的建立,索引的查找。
分词系统建立完毕,这是基础也是核心,后面我们建立索引要用到分词系统。下面依次讲解索引的建立,索引的查找。
索引的建立采用的是倒排序,原理就是遍历所有的文本,对其进行分词,然后把分的词汇建立索引表。形式类似如下:
词汇 出现词汇的篇章1,篇章2,...
分类:
Web程序 时间:
2014-05-25 20:58:39
阅读次数:
413
(1)
你需要精通面向对象分析与设计(OOA/OOD)、涉及模式(GOF,J2EEDP)以及综合模式。你应该了解UML,尤其是class,object,interaction以
及statediagrams。 (2) 你需要学习JAVA语言的基础知识以及它的核心类库(collections,seri...
分类:
编程语言 时间:
2014-05-25 18:44:20
阅读次数:
268