标签：style io java ar for div sp 代码 on
hive在生产环境中由于用户数量和身份的不同，难免会对用户按组进行划分，根据不同组的优先级划分hadoop资源，hadoop fairscheduler支持按用户组划分资源池，每个group对应一个组pool，然后根据pool优先级划分mapreduce资源，在map-site.xml中添加以下配置即可实现按组划分:
<property>
<name>mapred.jobtracker.taskScheduler</name>
<value>org.apache.hadoop.mapred.FairScheduler</value>
</property>
<property>
<name>mapred.fairscheduler.poolnameproperty</name>
<value>group.name</value>
</property>
<property>
<name>mapred.fairscheduler.allocation.file</name>
<value>/home/jjt/platform/config/hadoop/pools.xml</value>
</property>
在pools.xml中可定义了各个组可分配的资源情况：
<?xml version="1.0"?>
<allocations>
<pool name="web">
<minMaps>100</minMaps>
<minReduces>50</minReduces>
<maxMaps>20</maxMaps>
<maxReduces>20</maxReduces>
<weight>10.0</weight>
<minSharePreemptionTimeout>300</minSharePreemptionTimeout>
</pool>
<pool name="client">
<minMaps>20</minMaps>
<minReduces>15</minReduces>
<maxMaps>400</maxMaps>
<maxReduces>200</maxReduces>
<weight>1.0</weight>
<minSharePreemptionTimeout>300</minSharePreemptionTimeout>
</pool>
</allocations>
这样用户在提交job执行时即可根据所在group从所属的pool获取mapreduce资源，那么hadoop是如何确定用户所属的group呢？
hadoop的core-defauft.xml配置中hadoop.security.group.mapping：
<property>
<name>hadoop.security.group.mapping</name>
<value>org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback</value>
</property>
指明是通过JNI的方式获取用户所属的组，也可以指定value为org.apache.hadoop.security.ShellBasedUnixGroupsMapping通过shell命令id -Gn username的方式获取group.
然而现实中用户可能属于多个组，hadoop默认以返回值中的第一个组作为分配资源的依据，如果我们想指定用户group不是第一个怎么办了？
第一种解决方式是提供自己的id命令，将自己的id所在的PATH路径放在系统id命令PATH之前，让id -Gn username 返回的的第一个组为我们需要的特定组，这种方式相当于覆盖了系统id命令，可能影响系统中依赖id命令的部分。
第二种方式则是修改org.apache.hadoop.security.ShellBasedUnixGroupsMapping.java源码，在代码中对group进行过滤，这种方式需要每次cdh升级时替换hadoop-common.jar，hadoop cdh4.5采用maven管理，本人在编译过程中也遇到一些麻烦。
下载含有源码的cdh4.5 hadoop, 进入src，跳过可能出错的test，执行mvn install -Dmaven.test.skip=true即可进行所有项目的编译，cdh4.5 hadoop RPC依赖于protobuf2.4, 因此需要先安装protobuf2.4。本人在windows下通过Cygwin编译成功，然而替换掉测试环境中Linux 集群上的hadoop-common.jar后，出现了jobtracker无法启动、rpc异常错误，因此还必须在Linux平台上进行编译。
在Linux上通过源码安装protobuf2.4， 执行 make install 时 出现了错误：
/usr/bin/ld: /usr/local/lib/libz.a(deflate.o): relocation R_X86_64_32S against `a local symbol‘ can not be used when making a shared object; recompile with -fPIC
/usr/local/lib/libz.a: could not read symbols: Bad value
collect2: ld returned 1 exit status
libtool: install: error: relink `libprotoc.la‘ with the above command before installing it
在挣扎搜索了半天后通过重新安装执行./configure --enable-lib64 --libdir=/usr/lib64 解决了，因为编译系统是64位RedHat Linux。
这样通过以上方式就可以指定hadoop job所属用户组了。
标签：style io java ar for div sp 代码 on
原文地址：http://blog.csdn.net/jinjiating/article/details/39316739
