码迷,mamicode.com
首页 > 其他好文 > 详细

HIVE客户端启动缓慢处理步骤

时间:2020-01-29 23:31:34      阅读:285      评论:0      收藏:0      [点我收藏+]

标签:fsimage   出现   net   连接   ilo   serve   连接数过多   debug   ast   

1、首先打开 hive DEBUG日志,执行以下命令,直接将日志输出到控制台

hive --hiveconf hive.root.logger=DEBUG,console

2、我们知道HIVE启动过程中,首先会先连接hive metastore,然后在连接HDFS namenode,我们可以根据日志时间点来判断和排查哪一步执行时间过长导致。

3、如果是hive metastore 连接过慢,我们可以登录到metastore机器上,通过执行如下命令来确认现在metastore的连接数

netstat -apn | grep 端口号 | wc -l

4、如果发现是metestore连接数过多则可以进行重启

特别需要注意的是:HiveServer2的长连接。

5、如果是namenode连接时间过长,我们需要检查NameNode的日志和状态,确保主namenode为active状态且服务正常,如果服务异常,比如发生了主备切换,则需要切换回来,

hdfs haadmin -failover 备 主
如果使用failover出现超时,则大概率是因为合并editlog, fsimage耗时非常久,直接导致active nn异常退出,所以通过直接kill掉active nn来实现切换。

HIVE客户端启动缓慢处理步骤

标签:fsimage   出现   net   连接   ilo   serve   连接数过多   debug   ast   

原文地址:https://www.cnblogs.com/qiaoyihang/p/12241562.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!