cdh看完官方文档后小结002

标签：平衡   dem   txt   文件   document   运行   时间   停用   tail   

2、cdh不同版本支持的操作系统 参考链接为
https://blog.csdn.net/high2011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

3、停用主机停用并停止主机上的所有角色，而无需单独停用每个服务上的角色。 退役仅适用于HDFS DataNode，MapReduce TaskTracker，YARN NodeManager和HBase RegionServer角色。 如果主机上运行了其他角色，则会停止这些角色。在主机上的所有角色都已停用并停止后，可以从服务中删除主机。 您可以并行停用多个主机。

4、如果DataNode的数量等于HDFS中存储的任何文件的复制因子（默认值为3），则无法停用DataNode或具有DataNode的主机。例如，如果任何文件的复制因子为3，并且您有三个DataNode，则无法停用DataNode或具有DataNode的主机。如果在这种情况下尝试停用DataNode或具有DataNode的主机，则DataNode将被停用，但停用过程将无法完成。您必须中止退役并重新启动DataNode。
//这句话的意思就是 只有3台datanode 但是你要停用一台，但是复制因子是3 必须修改复制因子之后，才可以停用一台datanode
注意：退出DataNode时，不会从存储目录中删除数据块。您必须手动删除数据。

5、当一个DataNode退役时，NameNode确保来自DataNode的每个块仍然可以在复制因子的指示下在整个群集中可用。 此过程涉及以小批量从DataNode复制块。 如果DataNode有数千个块，则退役可能需要几个小时。 在使用DataNodes停用主机之前，您应首先调整HDFS：
(1、)运行以下命令以识别HDFS文件系统中的任何问题：
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations 2>&1 > /tmp/hdfs-fsck.txt
(2、)修复fsck命令报告的任何问题。 如果命令输出列出了损坏的文件，请使用fsck命令将它们移动到lost + found目录或删除它们：
hdfs fsck file_name -move 或者 hdfs fsck file_name -delete
(3、)提高DataNodes的堆大小。 DataNodes应配置至少4 GB的堆大小，以允许迭代和最大流的增加。
????转到HDFS服务页面。
????单击“配置”选项卡。
????选择Scope> DataNode。
????选择类别>资源管理。
????按建议设置“字节数”中的“数据堆大小”。
(4、)设置DataNode平衡带宽：
???? 选择Scope> DataNode。
???? 展开“类别”>“性能”类别。
???? 将DataNode Balancing Bandwidth属性配置为磁盘和网络上的带宽。 您可以使用低于此值的值，以便最大限度地减少退役对群集的影响，但权衡是退役将需要更长时间。
???? 单击“保存更改”以提交更改。
(5、)将每次迭代的复制工作乘数增加到更大的数字（默认值为2，但建议为10）：
???? 选择Scope> NameNode。
???? 展开“类别”>“高级”类别。
???? 将“每次迭代复制工作乘数”属性配置为值10，例如10。
???? 要根据需要将此配置属性应用于其他角色组，请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
???? 单击“保存更改”以提交更改。
(6、)增加复制最大线程数和最大复制线程硬限制：
???? 选择Scope> NameNode。
???? 展开“类别”>“高级”类别。
???? 将DataNode上的最大复制线程数和DataNode属性上复制线程数的硬限制分别配置为50和100。 您可以减少线程数（或使用默认值）以最小化退役对群集的影响，但权衡是退役将花费更长时间。
???? 要根据需要将此配置属性应用于其他角色组，请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
???? 单击“保存更改”以提交更改。
(7、)重启HDFS服务。
有关其他调整建议，请参阅性能注意事项。
参考链接为 ： https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_decomm_host.html

参考链接：

cdh看完官方文档后小结002

标签：平衡   dem   txt   文件   document   运行   时间   停用   tail   

原文地址：https://blog.51cto.com/12445535/2399294