本文已整理致我的 github 地址 https://github.com/allentofight/easy-cs,欢迎大家 star 支持一下 前言 近年来公司业务迅猛发展,数据量爆炸式增长,随之而来的的是海量数据查询等带来的挑战,我们需要数据量在十亿,甚至百亿级别的规模时依然能以秒级甚至毫秒级 ...
分类:
其他好文 时间:
2021-04-05 12:21:59
阅读次数:
0
STSdb 4.0 是一个开源的NoSQL 数据库和虚拟文件系统,支持实时索引,完全用c#开发的。 引擎原理基于WaterfallTree(瀑布树)数据结构搭建 以下内容基于stsdb4.dll(4.0.3.0版本)库 , 官方地址:http://stsdb.com/ ...
分类:
数据库 时间:
2017-08-18 11:05:57
阅读次数:
236
一,软件准备 coreseek4.1 (包含coreseek测试版和mmseg最新版本,以及测试数据包【内置中文分词与搜索、单字切分、mysql数据源、python数据源、RT实时索引等测试配置】) Mysql源码包 (必须选择与你已安装mysql的版本一致) 为了避免安装中出现依赖包缺失,你需要打 ...
分类:
数据库 时间:
2017-01-03 22:37:21
阅读次数:
508
最近Hue+Solr 方案原型验证有了一些进展。正好也收到了Google的大数据专家Sam的来件询问进展,我答复如下: Sam, 你好。 已经把Kafka+flume+solr的实时索引搭建起来了, 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql),solr现在数据... ...
分类:
其他好文 时间:
2016-12-19 21:36:08
阅读次数:
383
概述: Apache Solr是一个用JAVA语言构建在Apache Lucene项目上的开源的企业级搜索平台。主要特性包含:全文搜索、命中高亮、片段式搜索、实时索引、动态集群、数据库集成、NoSQL特性和富文本处理。提供分布式搜索和索引复制,设计时便充分考虑了扩展和容错能力。Solr目前是第二流行 ...
分类:
Web程序 时间:
2016-12-17 13:51:49
阅读次数:
262
Technorati Tags: Solr,Hue,Flume,Morphline,大数据1.Flume和Morphline添加日志打印 log4j.logger.org.apache.flume.sink.solr=DEBUG log4j.logger.org.kitesdk.morphline=... ...
分类:
Web程序 时间:
2016-12-12 22:14:49
阅读次数:
236
为什么要学习架构? Elasticsearch的一些架构设计,对我们做性能调优、故障处理,具有非常重要的影响。下面将从Elasticsearch的准实时索引的实现、自动发现、rounting和replica的读写过程,shard的allocate控制 使文本可以被搜索? 在传统的数据库中,一个字段存 ...
分类:
其他好文 时间:
2016-11-24 08:28:52
阅读次数:
200
https://www.rizhiyi.com/日志易[1]是一款日志管理工具,由北京优特捷信息技术有限公司开发。[2]它对日志进行集中采集和准实时索引处理,提供搜索、分析、监控和可视化等功能,帮助企业进行线上业务的实时监控、业务异常及时定位原因、业务数据趋势分析、及安全与合规审计。
分类:
其他好文 时间:
2016-09-19 22:39:23
阅读次数:
143
1 安装
安装详解请查看:http://blog.csdn.net/clevercode/article/details/52204124。
2 配置rt索引文件
vim /usr/local/sphinx2/etc/realtime.conf
index username
{
# 实时索引类型
type = rt
# 索引保存路径,平时都是...
分类:
其他好文 时间:
2016-08-17 18:10:57
阅读次数:
362
不管是网站还是app很多产品的设计思路和产品功能多多少少都有相似之处,那么这边主要讲以下几个场景 描述、话题的搜索 主要的实现思路是全量索引+增量索引方式,可设定时任务定点跑索引 用户昵称的搜索 主要是实现思路是实时索引+分布式索引的方式,用户由于过多,故使用实时索引的方法进行增加,旧数据通过跑脚本 ...
分类:
其他好文 时间:
2016-07-25 01:40:55
阅读次数:
119