3.分词
给定一个字符串s和一个单词字典，确定s是否可被字典分解为多个单词
如：
给定s=”leetcode”
dict=[“leet”,”code”]
由于”leetcode”可被分割为”leet code”，返回True
最简单的一种方法是遍历dict中的单词，查看其是否在s的起始位置，若在则继续查看s剩下部分，否则返回false
import java.util.Hash...
分类：
编程语言 时间：
2015-03-03 11:49:42
阅读次数：
192
提示:必须保证之前的ES中不存在index, 否则ES集群无法启动, 会提示red!1.下载IK字典配置文件http://download.csdn.net/detail/xxx0624/8464751然后解压该文件(可以得到一个ik文件夹)并把它放到ES的config文件夹下.2.下载 ik.ja...
分类：
其他好文 时间：
2015-03-01 17:01:53
阅读次数：
155
package com.fxr.test2;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.Input...
分类：
Web程序 时间：
2015-02-27 14:58:55
阅读次数：
157
1.Lucene提供了完整的查询引擎和索引引擎。 2.Lucene的jar包结构: 1)org.apache.lucene.analysis ????????????对需要建立索引的文本进行分词、过滤等操作,?语言分析器，主要用于的切词Analyzer是一个...
分类：
Web程序 时间：
2015-02-26 16:53:40
阅读次数：
139
1、 StopAnalyzer StopAnalyzer能过滤词汇中的特定字符串和词汇，并且完成大写转小写的功能。 2、 StandardAnalyzer StandardAnalyzer根据空格和符号来完成分词，还可以完成数字、字母、E-mail地址、IP地址以及中...
分类：
Web程序 时间：
2015-02-26 15:06:48
阅读次数：
181
字段分析器(Analyzers)即用于文档索引也用于查询.一个分析器检查字段的文本,并生成一个token流.分析器可能是一个单独的类,也可能是一系列的tokenizer和filter的组合. 分词器把字段数据分解成词汇单元或者tokens,过滤器(filters)检查tokens流,并且保持它...
分类：
其他好文 时间：
2015-02-25 22:21:15
阅读次数：
231
0 —— Lucene & Nutch是一种神奇的东西，包含了语义分析，自然语言处理，中文分析，网络爬取，索引建立，html解析等，下面介绍几种常用的中文分词工具
1 —— StandardAnalyzer标准分析器，能够根据空格、符号、数字、字母、E-mail地址、IP地址以及中文字符的分析处理分割原始的文本信息，还可以支持过滤词表，用来替代StopAnalyzer能够完成的过滤功能。...
分类：
其他好文 时间：
2015-02-23 13:11:29
阅读次数：
156
相信用word写paper或者其他什么英文的东西的朋友，都会遇到英文换行分词的问题。
我发现了一个巧妙的方法，无需任何设置，删删空格就好了。
首先，确保段落里面的设置是这样的，即是默认状态：
圈中位置不要勾选。
下面是步骤。
1、之前的英文是这样的：很乱，
2、接下两个操作。删除下一行最开始的两个单词间的空格，再还原。上一行就会自动紧缩：
之后依次类推...
分类：
其他好文 时间：
2015-02-21 21:07:43
阅读次数：
232
自然语言处理 基于规则 基于统计统计语言模型中文分词 梁南元--查字典 郭进--统计语言模型 Basis Technology 通用分词器 葛显平、朱安隐含马尔科夫模型信息熵贾里尼克、香农、雅各布森、乔姆斯基、弗兰德、哈克特统计语音识别和自然语言处理雅让斯基、布莱尔阿米特.辛格搜索引擎：...
分类：
其他好文 时间：
2015-02-19 20:43:20
阅读次数：
310
简介“结巴”中文分词的R语言版本，支持最大概率法（Maximum Probability）, 隐式马尔科夫模型（Hidden Markov Model）, 索引模型（QuerySegment）, 混合模型（MixSegment）, 共四种分词模式， 同时有词性标注，关键词提取，文本Simhash相似度比较等功能。项目使用了Rcpp和CppJieba进行开发。特性支持 Windows , Linux操...
分类：
编程语言 时间：
2015-02-17 11:42:32
阅读次数：
376
