CDH 6.0.1 集群 prepare 以及一些需要注意的地方

标签：none   详细   indexer   val   sig   ons   round   bsp   minimum   

从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「process」 「after install」

继上一篇使用 docker 部署单机 CDH 的文章，当我们使用 docker 评估完相关组件和一些功能之后，接下来就是使用 CDH express 版本来搭建集群。

搭建之前应该关注一下手册看下还有哪些可以注意的地方参见官方 before your install 

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation_reqts.html#pre-install

看了一下5.x.x 的最后一个版本是 5.15.x 然后所带的组件如下：

这个图很容易看出即使是 5.x 的最新版本使用的 spark 的版本是 1.6.0，这个版本远远滞后了目前的社区 spark 发布的版本。如果要使用更新版本可能需要自己自行安装。

我们从 0 搭建当然愿意使用更新的稳定版本，所以采用 6.0.1 下面是 6.0.1 的一个软件包支持情况：

可以很容易看到两个关键地方的更新，一个是从 6.0.x 版本开始之后， hadoop 使用了 3.0.x 版本了。另外一个关键组件 spark 也从之前的 1.6.0 被升级到了 2.2.0。

包括 hadoop 版本和 spark 版本的变动，都可以前往官方网站获得更多的信息。

部署之前除了参看 before install 之外 ，可以仔细阅读一下 「Cloudera Enterprise Reference Architecture for Bare Metal Deployments」 这个文档。他会从物理机器配置，os 需求等部署相关的硬件问题，软件问题，操作系统问题，以及你想要的集群大小给出一些合理建议。

1. 比如推荐你使用 dns 而不要使用 hosts 文件来管理集群。

2. 比如推荐你关闭 iptables 来避免一些不必要的麻烦。

3. 比如推荐你开启 ntp 时间服务器，来同步 master 与各 node 之间的时间。

4. 比如给你硬盘划分资源提出一些合理建议 

等等等.参看这个手册，寻找一些我们关心的问题变得很有必要。

关于大礼包吃资源的情况，另外一个文档列出了更详细的信息：

我们关心的 CM(cloudera manager) 吃资源的情况

Cloudera Manager Server Storage Requirements

Component	Storage	Notes
Partition hosting /usr	1 GB
Cloudera Manager Database	5 GB	If the Cloudera Manager Database shares a host with the Service Monitor and Host Monitor, more storage space is required to meet the requirements for those components.

Host Based Cloudera Manager Server Requirements

Number of Cluster Hosts	Database Host Configuration	Heap Size	Logical Processors	Cloudera Manager Server Storage Local Directory
Very small (≤10)	Shared	2 GB	4	5 GB minimum
Small (≤20)	Shared	4 GB	6	20 GB minimum
Medium (≤200)	Dedicated	8 GB	6	200 GB minimum
Large (≤500)	Dedicated	10 GB	8	500 GB minimum
Extra Large (>500)	Dedicated	16 GB	16	1 TB minimum

可以看到，根据集群大小的不同有一些不同的参数推荐。文档下面还有大礼包里面包含所有组件在什么情况部署下 大概消费的资源的参考。但是最终消耗还是要看我们自己部署的机器数目和开启应用的数量还有我们使用的情况。这些资料可以提供一个合理的参考。

想要了解 CDH 的全局端口使用情况（包含所有的大礼包里面的服务）可以参照

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_ports_cm.html#cm_cn_ports 

想要了解 CDH hosts 以及 master 应该如何分配，可以参照

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_host_allocations.html#host_role_assignments

如果想要了解一些自定义安装的详情，例如你不使用 CM 进行安装，想要安装一些老的组件可以参考

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_custom_installation.html

以上就是开始集群搭建之前需要了解的一些情况，在这里做一个简单的纪录。

Reference:

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation_reqts.html#pre-install  Before You Install

https://techvidvan.com/tutorials/hadoop-2-x-vs-hadoop-3-x/  20 Notable Difference Between Hadoop 2.x vs Hadoop 3.x

http://www.cloudera.com/documentation/other/reference-architecture/PDF/cloudera_ref_arch_metal.pdf  

https://www.cloudera.com/documentation/enterprise/release-notes/topics/hardware_requirements_guide.html

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_ports_cm.html#cm_cn_ports  CDH 大礼包的端口使用详情（包含了所有的服务）

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_host_allocations.html#host_role_assignments  CDH 角色分配

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_custom_installation.html  CDH 自定义安装的一些介绍

CDH 6.0.1 集群 prepare 以及一些需要注意的地方

标签：none   详细   indexer   val   sig   ons   round   bsp   minimum   

原文地址：https://www.cnblogs.com/piperck/p/9942686.html