网易视频云：HBase问题诊断案例一则——客户端读写阻塞异常

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务，在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。下面，网易视频云技术专家给大家分享一则HBase问题诊断案例。

大数据时代，HBase作为一款扩展性极佳的分布式存储系统，越来越多地受到各种业务的青睐，以求在大数据存储的前提下实现高效的随机读写操作。对于业务方来讲，一方面关注HBase本身服务的读写性能，另一方面也需要更多地关注HBase客户端参数的具体意义。这篇文章就从一个具体的HBase客户端异常入手，定位异常发生的原因以及相应的客户端参数优化。

案发现场

最近某业务在使用HBase客户端读取数据时出现了大量线程block的情况，业务方保留了当时的线程堆栈信息，如下图所示：

看到这样的问题，首先从日志和监控排查了业务表和region server，确认了在很长时间内确实没有请求进来，除此之外并没有其他有用的信息，同时也没有接到该集群上其他用户的异常反馈，从现象看，这次异常是在特定环境下才会触发的。

案件分析过程

1.根据上图图1所示，所有的请求都block在<0x0000000782a936f0>这把全局锁上，这里需要关注两个问题：

哪个线程持有了这把全局锁<0x0000000782a936f0>?

这是一把什么样的全局锁（对于问题本身并不重要，有兴趣可以参考步骤3）?

2.哪个线程持有了这把锁？

2.1 很容易在jstack日志中通过搜索找到全局锁<0x0000000782a936f0>被如下线程持有：

定睛一看，该线程持有了这把全局锁，而且处于TIMED_WAITING状态，因此这把锁可能长时间不释放，导致所有需要这把全局锁的线程都阻塞等待。好了，那问题就转化成了：为什么这个线程会处于TIME_WAITING状态？

2.2 根据上图提示，查看源码中RpcRetryingCall.java的115行代码，可以确定该线程处于TIME_WAITING状态是因为自己休眠导致，如下图所示：

RpcRetryingCall函数是Rpc请求重试机制的实现，所以可以有两点推断：

HBase客户端请求在那个时间段网络有异常导致rpc请求失败，进入重试逻辑

根据HBase的重试机制（退避机制），每两次重试机制之间会休眠一段时间，即上图115行代码，这个休眠时间太长导致这个线程一直处于TIME_WAITING状态。

休眠时间由上图中expectedSleep = callable.sleep(pause,tries + 1)决定，根据hbase算法（见第三部分），默认最大的expectedSleep为20s，整个重试时间会持续8min，这也就是说全局锁会被持有8min，可这并不能解释持续将近几个小时的阻塞无请求。除非有两种情况：

配置有问题：需要客户端检查hbase.client.pause和hbase.client.retries.number两个参数配置出现异常，比如hbase.client.pause参数如果手抖配成了10000，就有可能出现几个小时阻塞的情况

网络持续有问题：如果线程1持有全局锁重试失败之后退出，线程2竞争到这把锁，此时网络依然有问题，线程2会再次进入重试，重试8min之后失败退出，循环下去，也有可能出现几个小时阻塞的情况

和业务方确认配置，所有参数基本属于默认配置，因此猜测一不成立，那最有可能的情况就是猜测二。经过确认，在事发当时（凌晨0点～早上6点）确实存在很多服务因为云网络升级异常发生抖动的情况出现。然而因为没有具体的日志信息，所以并不能完全确认猜测是否正确。但是，通过问题的分析可以进一步明白HBase重试机制以及部分客户端参数优化策略，这也是写这篇文章的初衷之一。

3. 再来看看这把全局锁到底是什么锁，查看源码可知这把锁是下图中红框中的regionLockObject对象：

参考源码注释可知，这把锁是为了防止同时多线程并发加载meta分区。全局锁代码块首先会从缓存中查找meta分区，如果不存在会执行prefetchRegionCache方法远程查找并写入缓存，因此如果第一个线程成功加载meta分区数据并写入缓存，后来线程可以直接使用。

正常情况下，prefetchRegionCache方法只有在缓存不存在的情况下会执行，如果此时网络不存在问题，远程查找meta分区信息会很快完成，持锁时间也会很短。一旦网络出现长时间抖动，就有可能出现这把锁一直被持有，阻塞其他线程。

HBase Rpc重试机制

通过上文分析可知，HBase的重试机制是这次异常发生的关键点，有必要对其进行一次解析。HBase执行rpc失败之后会执行重试操作，重试的最大次数可以通过配置文件配置，对应的参数为hbase.client.retries.number,0.98版本中该参数的默认值为31。同时每两次重试之间会sleep一段时间，即上文提到的expectedSleep变量，该变量实现具体算法如下：public static int RETRY_BACKOFF[] = { 1, 2, 3, 5, 10, 20, 40, 100, 100, 100, 100, 200, 200 };long normalPause = pause * HConstants.RETRY_BACKOFF[ntries];long jitter = (long)(normalPause * RANDOM.nextFloat() * 0.01f); // 1% possible jitterreturn normalPause + jitter;

其中RETRY_BACKOFF是一个重试系数表，由小到大递增表示重试时间会随着重试次数逐渐递增。pause变量可以通过配置文件配置，对应的参数为hbase.client.pause,0.98版本中该参数的默认值为100。

暂时忽略jitter这个小随机变量，默认情况下最大的重试间隔休眠时间 expectedSleep = 100 * 200 = 20s。默认重试次数为31，则每次连接集群重试之间的暂停时间将依次为：

［100，200，300，500，1000，2000，4000，10000，10000，10000，10000，20000，20000，…,20000］

这意味着客户端将在448s内重试30次，然后放弃连接到集群.

客户端参数优化实践

很显然，根据上面第二部分和第三部分的介绍，一旦在网络出现抖动的异常情况下，默认最差情况下一个线程会存在8min左右的重试时间，从而会导致其他线程都阻塞在regionLockObject这把全局锁上。为了构建一个更稳定、低延迟的HBase系统，除过需要对服务器端参数做各种调整外，客户端参数也需要做相应的调整：

1. hbase.client.pause:默认为100，可以减少为20

2. hbase.client.retries.number:默认为31，可以减少为21

修改后，通过上面算法可以计算出每次连接集群重试之间的暂停时间将依次为：

［20，40，60，100，200，400，800，2000，2000，2000，2000，4000，4000，…，4000］

客户端将会在1min内重试20次，然后放弃连接到集群，进而会再将全局锁交给其他线程，执行其他请求。

总结

这篇文章从一个客户端异常入手，通过堆栈分析、源码追踪、合理推断，一方面整理分享程序异常的定位方法，一方面介绍HBase Rpc的重试机制以及客户端参数优化。最后，希望能和大家一起拥抱大数据时代的到来，也希望通过我们的努力能够让大家更多地了解HBase！更多精彩分享请关注网易视频云官方网站（http://vcloud.163.com/）或者网易视频云官方微信（vcloud163）。