Solr调研总结开发类型全文检索相关开发Solr版本4.2文件内容本文介绍solr的功能使用及相关注意事项;主要包括以下内容:环境搭建及调试、两个核心配置文件介绍、中文分词器配置、维护索引、查询索引,高亮显示、拼写检查、搜索建议、分组统计、自动聚类、相似匹配、拼音检索等功能的使用方法。在代码文本框中...
分类：
其他好文 时间：
2014-05-26 22:22:05
阅读次数：
886
原来的string docvalues使用utf-8编码，加载时转码花费大量时间，我们把转码实现从new String(bytes, "UTF-8")改用lucene的bytesRef.utf8ToString,减少了大约十秒的时间。
想进一步优化，我们使用UTF-16LE编码，解码非常简单甚至只需拷贝,如果用简单的byte[]到char[]转换，可以在节省7秒时间，而如果用unsafe可以节省...
分类：
其他好文 时间：
2014-05-25 01:46:44
阅读次数：
246
（一）搜索引擎的开发一般可分为以下三大部分
1、数据采集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi
2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene
3、视图层：也用户的交互界面，如一个网站的首页
其基本架构可参考下图：...
分类：
其他好文 时间：
2014-05-24 22:20:16
阅读次数：
349
1.基本介绍：paoding：Lucene中文分词“庖丁解牛”
PaodingAnalysisimdict ：imdict智能词典所采用的智能中文分词程序mmseg4j： 用 Chih-Hao Tsai 的 MMSeg 算法
实现的中文分词器ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理...
分类：
其他好文 时间：
2014-05-24 11:47:16
阅读次数：
358
本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。
分类：
其他好文 时间：
2014-05-24 09:33:03
阅读次数：
371
需要在项目中引入：IKAnalyzer.cfg.xmlIKAnalyzer2012.jarlucene-core-3.6.0.jarstopword.dic什么都不用改示例代码如下(使用IK
Analyzer):[java] view plaincopypackage com.haha.test; ...
分类：
编程语言 时间：
2014-05-22 05:58:40
阅读次数：
392
上一篇文章初识Lucene4.5.0--(一)已经介绍了如何创建索引与检索索引。接下来就是删除与更新啦~一、删除索引。原本3.x版本时IndexWriter与IndexReader都是有删除方法的，让我们先来看看lucene3.6api文档中的IndexReader的描述：从4.0开始已经被删除了，所以现在只能用IndexWrite..
分类：
其他好文 时间：
2014-05-21 01:10:59
阅读次数：
310
近期想研究下lucene，但网络上的教程大多都是lucne3.x版本的讲解。可是lucene版本的更新速度快的惊人，目前已经到了4.8版了，只好去查阅官方文档。虽然英文不大好，但稍微对比了下发现3.x版本至4.x版本的修改非常之大。接下来我就以4.5版来操作，分享下我对luence的初步认识。..
分类：
其他好文 时间：
2014-05-21 00:49:10
阅读次数：
361
需要在项目中引入：IKAnalyzer.cfg.xmlIKAnalyzer2012.jarlucene-core-3.6.0.jarstopword.dic什么都不用改示例代码如下(使用IKAnalyzer):[java]viewplaincopypackagecom.haha.test;importjava.io.IOException;importjava.io.StringReader;importorg.apache.lucene.analysis.Ana..
分类：
编程语言 时间：
2014-05-20 20:28:42
阅读次数：
390
jplogicv1.0开发陆续更新，意在和广大网友分享交流，通过寻求合作伙伴，交流群376447127.下面是jplogic的关于知识库模块的部分功能，如下进行功能展示：知识库主界面：新增知识类别：新增文档：调整类别结构：附件明细操作：文档信息查看：（将上传的各种文本文件转化成swf格式..
分类：
其他好文 时间：
2014-05-20 18:31:47
阅读次数：
367
