标签：current   管理类   支持   blog   ice   方案   磁盘空间   相同   最大   

一、HAWQ如何管理资源

1. 全局资源管理

2. HAWQ资源队列

• 只为正在运行或排队的查询分配资源队列。
• 多个查询竞争时，HAWQ资源管理器自动依据可用资源情况平衡队列间的资源。
• 在一个资源队列中，如果有多个查询等待资源，最终资源以Best-Effort方式分配给每个查询。

二、资源管理器配置最佳实践

• segment节点没有相同的IP地址。某些软件使用自动配置IP地址的虚拟网卡，这可能造成某些HAWQ segment得到相同的IP地址。这种情况下，资源管理器的容错服务组件只能认到相同IP中的一个segment。
• 所有segment配置相同的资源容量配额。
• 为了避免资源碎片化，配置segment资源配额为所有虚拟段资源限额的整数倍。
• 确保有足够已注册的segment响应资源请求。如果失效的segment超过了限制，资源请求被拒绝。
• master和segment使用多个独立的大磁盘（2T或以上）的临时目录，例如/disk1/tmp /disk2/tmp，保证写临时文件的负载均衡。对于给定查询，HAWQ为每个虚拟段使用一个单独的临时目录存储溢出文件。多个HAWQ会话也是用自己的临时目录避免磁盘竞争。如果临时目录过少，或者多个临时目录存储在同一个磁盘上，会增加磁盘竞争或磁盘空间用尽的风险。
• 最小化每个segment的YARN容器数，并设置空闲资源返还YARN的超时时间。
• yarn.scheduler.minimum-allocation-mb参数设置成可以被1G整除，如1024、512等。

三、独立资源管理器

• 确定使用哪种资源管理模式。HAWQ支持两种管理模式：独立模式与外部全局资源管理器模式。独立模式也叫无全局资源管理模式。在该模式下，HAWQ使用集群节点资源时，不考虑其它共存的应用，HAWQ假设它能使用所有segment的资源。对于专用HAWQ集群，独立模式是可选的方案。当前HAWQ支持YARN作为外部全局资源管理器。该模式下，HAWQ作为一个YARN的应用，使用YARN管理的集群资源。
• 如果选择独立资源管理模式，需要决定是否限制分配给每个HAWQ segment使用的内存与CPU。
• 如果使用YARN模式，需要在YARN中为HAWQ配置资源队列，还要在HAWQ进行与YARN相关的配置。HAWQ自动注册为YARN应用，使用YARN中配置的资源队列。
• 在HAWQ中，创建资源队列。

1. 使用独立模式

<property>
      <name>hawq_global_rm_type</name>
      <value>none</value>
</property>

[gpadmin@hdp3 ~]$ hawq config -s hawq_global_rm_type
GUC		: hawq_global_rm_type
Value		: none
[gpadmin@hdp3 ~]$ 

2. 配置segment资源限制

<property>
   <name>hawq_rm_memory_limit_perseg</name>
   <value>8GB</value>
</property>
<property>
   <name>hawq_rm_nvcore_limit_perseg</name>
   <value>4</value>
</property>

3. 配置查询语句的资源限额

• hawq_rm_stmt_vseg_memory
• hawq_rm_stmt_nvseg

db1=# set hawq_rm_stmt_vseg_memory=‘256mb‘;
SET
db1=# set hawq_rm_stmt_nvseg=10;
SET
db1=# create table t(i integer);
CREATE TABLE
db1=# insert into t values(1);
INSERT 0 1
db1=# 

4.配置最大虚拟段数

• 需要向有P个分区的表导入数据。
• 集群中有N个节点，为了导入数据，每个节点上启动了V个虚拟段。

• hawq_rm_nvseg_perquery_limit：在服务器级别上限制执行一条语句可以使用的最大虚拟段数量，缺省值为512。default_hash_table_bucket_number定义的哈希桶数不能超过hawq_rm_nvseg_perquery_limit。
• default_hash_table_bucket_number：定义哈希表使用的缺省桶数。查询哈希表时，分配给查询的虚拟段数是固定的，等于表的桶数。一般集群扩容后应当调整此参数。

四、整合YARN

1. 安装YARN。如果使用HDP 2.3版本，必须设置yarn.resourcemanager.system-metrics-publisher.enabled=false。
2. 配置YARN使用CapacityScheduler调度器，并为HAWQ保留一个单独的应用队列。
3. 启用YARN的高可用特性（可选）。
4. 配置HAWQ的YARN模式。
5. 根据需要调整HAWQ的资源使用：为HAWQ修改相应的YARN资源队列配额（刷新YARN资源队列不需要重启HAWQ）；通过修改HAWQ资源队列进行资源消耗的细粒度控制；其它配置，如设置每个HAWQ segment的最小YARN容器数，或修改HAWQ的空闲资源超时时间等。

1. 配置YARN

图3

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

yarn.scheduler.capacity.maximum-am-resource-percent=0.2
yarn.scheduler.capacity.maximum-applications=10000
yarn.scheduler.capacity.node-locality-delay=40
yarn.scheduler.capacity.root.acl_administer_queue=*
yarn.scheduler.capacity.root.capacity=100
yarn.scheduler.capacity.root.queues=mrque1,mrque2,hawqque
yarn.scheduler.capacity.root.hawqque.capacity=20
yarn.scheduler.capacity.root.hawqque.maximum-capacity=80
yarn.scheduler.capacity.root.hawqque.state=RUNNING
yarn.scheduler.capacity.root.hawqque.user-limit-factor=1
yarn.scheduler.capacity.root.mrque1.capacity=30
yarn.scheduler.capacity.root.mrque1.maximum-capacity=50
yarn.scheduler.capacity.root.mrque1.state=RUNNING
yarn.scheduler.capacity.root.mrque1.user-limit-factor=1
yarn.scheduler.capacity.root.mrque2.capacity=50
yarn.scheduler.capacity.root.mrque2.maximum-capacity=50
yarn.scheduler.capacity.root.mrque2.state=RUNNING
yarn.scheduler.capacity.root.mrque2.user-limit-factor=1

图4

2. 在YARN中设置segment资源限制

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4GB</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>1</value>
</property>

图6

• yarn.nodemanager.resource.memory-mb：表示该节点上YARN可使用的物理内存总量，默认是8192MB。如果节点的内存资源不够8GB，则需要调减小这个值，YARN不会智能的探测节点的物理内存总量。
• yarn.nodemanager.resource.cpu-vcores：表示该节点上YARN可使用的虚拟CPU个数，默认是8。目前推荐将该值设值为与物理CPU核数相同。如果节点的CPU核数不够8个，则需要调减小这个值，YARN不会智能的探测节点的物理CPU总数。

• yarn.nodemanager.resource.memory-mb应该设置为虚拟段资源限额（在HAWQ资源队列中配置）的倍数。
• 每核内存应该设置为yarn.scheduler.minimum-allocation-mb的倍数。

• yarn.scheduler.minimum-allocation-mb=1024
• yarn.nodemanager.resource.memory-mb=49152
• yarn.nodemanager.resource.cpu-vcores=16

3. 启用YARN模式

<property>
   <name>hawq_global_rm_type</name>
   <value>yarn</value>
</property>

图7

<property>
   <name>hawq_rm_yarn_address</name>
   <value>hdp2:8050</value>
</property>
<property>
   <name>hawq_rm_yarn_scheduler_address</name>
   <value>hdp2:8030</value>
</property>
<property>
   <name>hawq_rm_yarn_queue_name</name>
   <value>hawqque</value></property>
<property>
   <name>hawq_rm_yarn_app_name</name>
   <value>hawq</value>
</property>

图8

表2

4. 用YARN协调HAWQ资源

五、资源队列层次

1. 设置资源队列最大数

[gpadmin@hdp3 ~]$ hawq config -s hawq_rm_nresqueue_limit
GUC		: hawq_rm_nresqueue_limit
Value		: 128
[gpadmin@hdp3 ~]$

<property>
   <name>hawq_rm_nresqueue_limit</name>
   <value>50</value>
</property>

db1=# show hawq_rm_nresqueue_limit;
 hawq_rm_nresqueue_limit 
-------------------------
 128
(1 row)

db1=# set hawq_rm_nresqueue_limit=50;
ERROR:  attempted change of parameter "hawq_rm_nresqueue_limit" ignored
DETAIL:  This parameter cannot be changed after server start.
db1=# 

2. 资源队列维护

db1=# create resource queue myqueue with (parent=‘pg_root‘, active_statements=20,
db1(# memory_limit_cluster=10%, core_limit_cluster=10%);
CREATE QUEUE
db1=# 

db1=# create resource queue myqueue1 with (parent=‘pg_root‘, active_statements=20,
db1(# memory_limit_cluster=50%, core_limit_cluster=50%);
ERROR:  the value of core_limit_cluster and memory_limit_cluster exceeds parent queue‘s limit, wrong value = 50%
db1=# 

db1=# create resource queue test_queue_1 with (parent=‘pg_root‘,
db1(# memory_limit_cluster=30%, core_limit_cluster=30%, resource_overcommit_factor=2);
CREATE QUEUE
db1=# 

[gpadmin@hdp3 ~]$ hawq config -s hawq_rm_force_alterqueue_cancel_queued_request
GUC		: hawq_rm_force_alterqueue_cancel_queued_request
Value		: on
[gpadmin@hdp3 ~]$

db1=# alter resource queue test_queue_1 with (memory_limit_cluster=40%,core_limit_cluster=40%);
ALTER QUEUE
db1=#

db1=# alter resource queue test_queue_1 with (active_statements=50);
ALTER QUEUE
db1=# 

• 没有查询正在使用该队列。
• 没有子队列。
• 没有被赋予角色。

db1=# alter role wxy resource queue none;
ALTER ROLE
db1=# 

db1=# drop resource queue myqueue;
DROP QUEUE
db1=# 

db1=# \x
Expanded display is on.
db1=# select rsqname,
db1-#        parentoid,
db1-#        activestats,
db1-#        memorylimit,
db1-#        corelimit,
db1-#        resovercommit,
db1-#        allocpolicy,
db1-#        vsegresourcequota,
db1-#        nvsegupperlimit,
db1-#        nvseglowerlimit,
db1-#        nvsegupperlimitperseg,
db1-#        nvseglowerlimitperseg
db1-#   from pg_resqueue 
db1-#  where rsqname=‘test_queue_1‘;
-[ RECORD 1 ]---------+-------------
rsqname               | test_queue_1
parentoid             | 9800
activestats           | 50
memorylimit           | 40%
corelimit             | 40%
resovercommit         | 2
allocpolicy           | even
vsegresourcequota     | mem:256mb
nvsegupperlimit       | 0
nvseglowerlimit       | 0
nvsegupperlimitperseg | 0
nvseglowerlimitperseg | 0

db1=# 

db1=# select * from pg_resqueue_status;
   rsqname    | segmem | segcore  | segsize | segsizemax | inusemem | inusecore | rsqholders | rsqwaiters | paused 
--------------+--------+----------+---------+------------+----------+-----------+------------+------------+--------
 pg_root      | 256    | 0.125000 | 72      | 72         | 0        | 0.000000  | 0          | 0          | F
 pg_default   | 256    | 0.125000 | 36      | 72         | 0        | 0.000000  | 0          | 0          | F
 test_queue_1 | 256    | 0.125000 | 28      | 57         | 0        | 0.000000  | 0          | 0          | F
(3 rows)

表3

select usename, rsqname, locktype, objid, transaction, pid, mode, granted, waiting
  from pg_stat_activity, pg_resqueue, pg_locks
 where pg_stat_activity.procpid=pg_locks.pid
   and pg_locks.objid=pg_resqueue.oid;

select rolname, rsqname, pid, granted, current_query, datname
  from pg_roles, pg_resqueue, pg_locks, pg_stat_activity
 where pg_roles.rolresqueue=pg_locks.objid
   and pg_locks.objid=pg_resqueue.oid
   and pg_stat_activity.procpid=pg_locks.pid;

3. 给角色赋予资源队列

db1=# create role rmtest1 with login resource queue pg_default;
CREATE ROLE
db1=# alter role rmtest1 resource queue test_queue_1;
ALTER ROLE
db1=# 

db1=# select rolname, rsqname from pg_roles, pg_resqueue
db1-#  where pg_roles.rolresqueue=pg_resqueue.oid;
 rolname |   rsqname    
---------+--------------
 gpadmin | pg_default
 wxy     | pg_default
 rmtest1 | test_queue_1
(3 rows)

六、查询资源管理器状态

1. 连接状态跟踪

db1=# select * from dump_resource_manager_status(1);
                              dump_resource_manager_status                               
-----------------------------------------------------------------------------------------
 Dump resource manager connection track status to /tmp/resource_manager_conntrack_status
(1 row)

表4

2. 资源队列状态

db1=# select * from dump_resource_manager_status(2);
                             dump_resource_manager_status                             
--------------------------------------------------------------------------------------
 Dump resource manager resource queue status to /tmp/resource_manager_resqueue_status
(1 row)

表5

3. HAWQ segment状态

db1=# select * from dump_resource_manager_status(3);
                            dump_resource_manager_status                            
------------------------------------------------------------------------------------
 Dump resource manager resource pool status to /tmp/resource_manager_respool_status
(1 row)

表6

用HAWQ轻松取代传统数据仓库（十三） —— 资源管理

标签：current   管理类   支持   blog   ice   方案   磁盘空间   相同   最大   

原文地址：http://blog.csdn.net/wzy0623/article/details/70314393