码迷,mamicode.com
首页 > 其他好文 > 详细

ES+Hbase对接方案概述

时间:2016-03-11 23:50:02      阅读:702      评论:0      收藏:0      [点我收藏+]

标签:

方案背景

Hbase的索引方案有很多,越来越多的人开始选择ES+Hbase的方案,其实该方案并没有想象中那么完美,ES并发低,同时查询速度相对Hbase也慢很多,那为什么会选择他呢,它的写入比较快,如果一个宽表需要建20个索引,在数据导入时,hbase每秒导入20W,那么ES压力就是每秒400W,solr和hindex都不能解决该问题。

所以对并发高的业务场景,还是使用华为HIndex这种方案,也可以混合使用

 

方案描述

ES+Hbase对接大致有两种方式,需要根据当前的业务场景做相应的选择,

方案1:

如果是对写入数据性能要求高的业务场景,那么一份数据先写到Hbase,然后再写到ES中,两个写入流程独立,这样可以达到性能最大,目前某公安厅使用该方案,每天需要写入数据200亿,6T数据,每个记录建20左右的索引。

缺点:可能存在数据的不一致性。

 

方案2:

这也是目前网上比较流行的方案,使用hbase的协处理监听数据在Hbase中的变动,实时的更新ES中的索引,

缺点是协处理器会影响Hbase的性能

ES+Hbase对接方案概述

标签:

原文地址:http://www.cnblogs.com/gaoxing/p/5267512.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!