Solr调研总结开发类型全文检索相关开发Solr版本4.2文件内容本文介绍solr的功能使用及相关注意事项;主要包括以下内容:环境搭建及调试、两个核心配置文件介绍、中文分词器配置、维护索引、查询索引,高亮显示、拼写检查、搜索建议、分组统计、自动聚类、相似匹配、拼音检索等功能的使用方法。在代码文本框中...
分类：
其他好文 时间：
2014-05-26 22:22:05
阅读次数：
886
最近看到这篇文章dotNetDR_的回复，让我想起一个真实发生的案例，下面就简单说说这个关于lock引用类型的一个不容易发现的隐藏缺陷。某类库中的代码，封装了很简单的一个通用类，用于线程安全地执行某一种类型的特定方法，几行代码搞定：
public class ConcurrentObjectE...
分类：
其他好文 时间：
2014-05-26 14:01:09
阅读次数：
221
原来的string docvalues使用utf-8编码，加载时转码花费大量时间，我们把转码实现从new String(bytes, "UTF-8")改用lucene的bytesRef.utf8ToString,减少了大约十秒的时间。
想进一步优化，我们使用UTF-16LE编码，解码非常简单甚至只需拷贝,如果用简单的byte[]到char[]转换，可以在节省7秒时间，而如果用unsafe可以节省...
分类：
其他好文 时间：
2014-05-25 01:46:44
阅读次数：
246
伴随着多核时代的到来，怎样充分利用好你的多个CPU的优势成了技术的关注点，那就是多线程多进程编程，二者的区别也很明显，进程是操作系统中拥有资源的最小单位，但是是重量级的。线程是系统调度的最小单位，是轻量级的，一个进程可以拥有很多个线程，但是线程是不拥有资源的，同一个进程中的线程共享这个进程中拥有的资源。以前学习java，一个灰常重要的并发方式就是多线程，因为线程的开销要比进程的少很多，而通过加锁来...
分类：
编程语言 时间：
2014-05-24 23:04:56
阅读次数：
389
（一）搜索引擎的开发一般可分为以下三大部分
1、数据采集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi
2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene
3、视图层：也用户的交互界面，如一个网站的首页
其基本架构可参考下图：...
分类：
其他好文 时间：
2014-05-24 22:20:16
阅读次数：
349
1.基本介绍：paoding：Lucene中文分词“庖丁解牛”
PaodingAnalysisimdict ：imdict智能词典所采用的智能中文分词程序mmseg4j： 用 Chih-Hao Tsai 的 MMSeg 算法
实现的中文分词器ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理...
分类：
其他好文 时间：
2014-05-24 11:47:16
阅读次数：
358
本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。
分类：
其他好文 时间：
2014-05-24 09:33:03
阅读次数：
371
需要在项目中引入：IKAnalyzer.cfg.xmlIKAnalyzer2012.jarlucene-core-3.6.0.jarstopword.dic什么都不用改示例代码如下(使用IK
Analyzer):[java] view plaincopypackage com.haha.test; ...
分类：
编程语言 时间：
2014-05-22 05:58:40
阅读次数：
392
Subsections
线程安全(Thread safety)
锁(lock)
共享对象
对象组合
基础构建模块
任务执行
取消和关闭
线程池的使用
性能与可伸缩性
并发程序的测试
显示锁
原子变量和非阻塞同步机制
一、线程安全(Thread safety)
无论何时，只要多于一个线程访问给定的状态变量。而且其中某个线程会写入该变量，此时必须使用同...
分类：
编程语言 时间：
2014-05-21 17:11:45
阅读次数：
500
There are two types of non-blocking thread synchronization algorithms
- lock-free, and wait-free. Their meaning is often confused. In lock-free systems, while any particular computation may be block...
分类：
其他好文 时间：
2014-05-21 10:27:20
阅读次数：
410
