hadoop的参数调优

标签：dfs   data   集群   name   配置   参数调优   datanode   目录   and   

1，在hdfs-site.xml 中配置多目录，提前配置好，以免以后要配置时，需要重启集群。

2，namenode 有一个工作线程池，用来处理不同的datanode的并发心跳和客户端访问并发请求。配置dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群为10台，可以设置为60。

3，把编辑日志存储路径和镜像文件存储路径分开，达到最低写入延迟。

4，可以调整NM最大的物理内存量，默认8G，可以调大；如果你的物理内存不足8G，则需要调小，因为NM不会探测你的物理内存。

5，可以调大单个任务获取的最大内存，默认8G，可以调大。

hadoop的参数调优

标签：dfs   data   集群   name   配置   参数调优   datanode   目录   and   

原文地址：https://www.cnblogs.com/gaoshanmuxue/p/13140071.html