一、综述 目前Hadoop发行版非常多,有华为发行版、Intel发行版、Cloudera发行版(CDH)等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。( ...
分类:
Web程序 时间:
2019-06-07 00:54:47
阅读次数:
139
一、zookeeper1、安装继续—>完成;二、HDFS1、安装继续—>完成;三、yarn、hive1、安装yarn继续—>完成;2、安装hive继续—>完成;3、测试hivehive> show tables;OKTime taken: 0.41 secondshive> create table... ...
分类:
其他好文 时间:
2019-06-06 15:46:38
阅读次数:
120
集群规模计算集群规模取决于用户数据及应用需求,最终规划值为以下各种计算方式得出的最小集群规模的最大值?容量需求–估算相对容易且准确–大多数案例可以通过容量来决定集群规模?计算需求–准确的估算计算资源只能通过小规模测试并合理估算?其他资源限制–如用户MapReduce应用可能对内存等资源有特殊要求,且单节点可配置资源相对有限,则集群最小规模需满足用户此类资源要求网络建议?建议使用万兆网络或更高速度网
分类:
其他好文 时间:
2019-06-04 14:52:44
阅读次数:
200
除了我们的团队之外最详细的CDH离线部署文档!完全可以应用于实际生产!
分类:
其他好文 时间:
2019-05-28 23:58:44
阅读次数:
872
1. download cdh hive src http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.11.1-src.tar.gz 2. unzip the src tarball 3. compile Note: if u deploy ...
分类:
其他好文 时间:
2019-05-25 00:07:03
阅读次数:
146
1、ClouderaManager包含内部机架感知脚本,但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机,Cloudera建议您为每个主机指定机架。HDFS,MapReduce和YARN将自动使用您指定的机架。https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.htm
分类:
其他好文 时间:
2019-05-23 23:03:26
阅读次数:
210
相关文章链接 1. 升级概述 1、CM(cloudera manager)升级概述: CM的安装是使用rpm包的安装,详情请看上述CM的安装,所以升级的时候也是rpm包的升级即可。 2、CDH升级概述: CDH的安装是使用离线的Parcel包安装的,所以也使用Parcel来升级,需要先将Parcel ...
分类:
其他好文 时间:
2019-05-15 16:16:57
阅读次数:
163
相关文章链接 1. CDH官网Kafka的安装教程网址 https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r 2. 下载对应的Kafka版本 1、查看CD ...
分类:
其他好文 时间:
2019-05-15 12:50:03
阅读次数:
123