码迷,mamicode.com
首页 > 其他好文 > 详细

hbase 权威指南笔记(二)

时间:2016-12-22 19:38:17      阅读:235      评论:0      收藏:0      [点我收藏+]

标签:operation   重试   开始   使用   hba   记录   调用   参数   bsp   

这次我们先来讨论hbase的重试机制,为什么呐,因为最近公司最近也在做这方面的优化,所以就今天研究的一些成功记录一下。


configuration.setInt("hbase.client.pause", 50);
configuration.setInt("hbase.client.retries.number", 5);
configuration.setInt("hbase.client.operation.timeout", 3000);
configuration.setInt("hbase.client.scanner.timeout.period", 3000);
configuration.setInt("hbase.rpc.timeout", 1000);

1、hbase.rpc.timeout

因为客户端和服务端是分离的,他们之间的服务调用就需要rpc,例如当我们使用put的时候,其实是在客户端封装了一个对象,这个对象包括参数、命令等一些参数,然后经过网络发送到服务端,服务端在将参数解析,然后执行相关命令,最后将结果返回客户端。整一个过程就是rpc调用。所以如果出现网路问题,或者服务器端正在进行gc,那么返回的数据出现延迟或者不返回,所以我们就需要在客户端设置一个超时参数,当超时了我们将放弃这次请求,并且抛出异常。这样我们上层应用在调用操作接口的时候就不会一直阻塞。但是并不是设置越小越好,这个还是需要根据自己的系统来设置一个比较合适的值。

2、hbase.client.pause  hbase.client.retries.number  hbase.client.operation.timeout

这三个参数都是一起用到的,hbase有个比较好的容错机制,其中一个体现就是当第一次超时的时候,会尝试再次连接hbase.client.retries.number 次,但是不是马上而是会先休眠 hbase.client.pause,当重试次数已经达到的时候或者达到hbase.client.operation.timeout(从开始到结束包括重试时间),就会抛出异常。

3、hbase.client.scanner.timeout.period

这个是单独对scan这个操作的,一个scan操作可能会有多次的rpc,以为scan并不是一次九江数据返回,而是通过设置参数maxResultSize,来确定一次rpc需要返回多少数据,1.1.1版本是2m,hbase.client.scanner.timeout.period这个是针对一次rpc操作时间。

 

好了,上面就是这次通过查资料和源码的一些自己的总结,欢迎一起来讨论。

hbase 权威指南笔记(二)

标签:operation   重试   开始   使用   hba   记录   调用   参数   bsp   

原文地址:http://www.cnblogs.com/dylenwu/p/6212238.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!