同事调整了IndexWriterConfig的maxThreadStates参数,发现性能有很大提升,原来之前一直没去注意这个东西。
addDocument时默认会调用ThreadAffinityDocumentsWriterThreadPool来获取线程锁,而这个线程池默认是8个线程,如果同时addDocument的线程多于8个,则线程处在等待锁的状态(一般是等最小竞争的>锁),所以本质上...
分类:
其他好文 时间:
2014-05-10 04:33:12
阅读次数:
210
Lucene 4.8开始不支持java6了,所以在下次版本升级之前我们要先升级至java7。
我使用1/3的全量索引(7.3G),进行测试,20并发,40万请求:
sun jdk 1.6.0_26 平均响应时间为9.08ms
sun java 7 update 55 平均响应时间为8.29ms
传说中的g1 garbage collector那么高大上,使用G1之...
分类:
编程语言 时间:
2014-05-10 03:29:28
阅读次数:
350
http://blog.csdn.net/accesine960/article/details/80668772012年10月12日,Lucene
4.0正式发布了(点击这里下载最新版),这个版本因为诸多的新特性和大胆的架构调整一直备受期待。无论是索引结构,索引算法以及整体架构的包容性都发生了翻天...
分类:
其他好文 时间:
2014-05-09 15:47:06
阅读次数:
321
首先就是存储员工信息数据。这里将会使用一个文档描述一个员工的“employee
document”形式。实际上在ES中存储数据的动作叫index,但是在我们index一个文档的时候首先要确定去哪里储存数据。在ES中,一个文档是相当于一个type,若干type从属于一个index。可以从下面和关系性数...
分类:
其他好文 时间:
2014-05-09 10:40:21
阅读次数:
239
用这篇日志记录在做毕业课题的一些思考,按时间分割。2014/02至2014/04:
抽了一些时间,看林轩田老师的《机器学习基石》,大致对机器学习、数据挖掘有了一个认识,数据挖掘更侧重于挖掘大量或潜在的数据,从而对一些问题进行分析,机器学习则是通过大量已知数据的训练,形成机器的思维,从而“学会”对.....
分类:
其他好文 时间:
2014-05-09 10:14:27
阅读次数:
289
简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候,也就是出现问题的时候,这个渐进的过程就开始了。日志管理一般会经历一下3个阶段:初级管理员将通过一些传统工具(如cat、tail、sed、awk、perl以及grep)对日志进行检查,但它的适用范围仅限于少量的主机和日志文件类型;考虑到现实中...
分类:
其他好文 时间:
2014-05-09 08:18:10
阅读次数:
651
HubbleDotNet 从 1.2.3 版本以后开始在官方代码中支持和 Mongodb
对接,Mongodb 是10gen 公司开发的 no-sql 数据库,其读写性能比传统关系数据库要快很多,而且可以非常方便的分布式部署。HubbleDotNet
通过支持 Mongodb 也使其本身同时具备了 ...
分类:
数据库 时间:
2014-05-09 08:05:58
阅读次数:
476
HubbleDotNet 从 2009 年11月份发布第一个版本以来, 只对 0.7
版本做过一次性能对比测试,原因是近一年来,HubbleDotNet一直在做性能优化,截至2010年9月,性能已经优化的差不多了,索引和查询的性能比 0.7
版本时提高了很多倍。这两天重新对HubbleDotNet ...
分类:
Web程序 时间:
2014-05-09 07:59:17
阅读次数:
544
TheBig Data Zoneis presented bySplunk, the maker of
data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk
Web Framework.Liv...
分类:
其他好文 时间:
2014-05-08 19:31:55
阅读次数:
596
REST是一种架构风格,其核心是面向资源,REST专门针对网络应用设计和开发方式,以降低开发的复杂性,提高系统的可伸缩性。REST提出设计概念和准则为:1.网络上的所有事物都可以被抽象为资源(resource)2.每一个资源都有唯一的资源标识(resource
identifier),对资源的操作不...
分类:
Web程序 时间:
2014-05-08 13:32:48
阅读次数:
431