安装前准备
1. 虚拟机3个，安装Centos 6.5， 内存设置为4GB
2. 配置yum源为163（不配置，在安装软件时，慢的要死）
3. 关闭防火墙( iptables)，disabled SELinux
4. 配置静态IP，并在/etc/hosts中将Hadoop集群中的主机名加进去
安装
1. 在Cloudera官网上下载 cloudera-manager-i...
分类：
其他好文 时间：
2014-08-09 00:12:07
阅读次数：
313
使用Cloudera Manager 安装CDH，虽然方便快捷，但是在中国国情的网速下还是需要进行一些特别的处理，才能顺利安装。本文汇总了多个参考文档，详细的记录了安装过程和期间出现的问题与解决方法。...
分类：
其他好文 时间：
2014-07-24 23:02:34
阅读次数：
455
# ClouderaManager以及CM5.1.0半离线集群部署安装
目前 CM5.1.0 ，CDH5.1.0 是最新版本
# 学习前言
# CM安装前的准备
# 基本环境的配置
# ssh免密码登录
前面已经介绍，这里不再介绍了
# 关闭防火墙
[root@a234-198 cm5.1.0]# service iptables stop
# 修改hosts文件（也是必须的）
必须严格按照以下这种格式 ip aaa.bbb.ccc aaa
例如：116.255.234.198a234-...
分类：
其他好文 时间：
2014-07-24 17:38:46
阅读次数：
419
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：（1）ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clouder...
分类：
其他好文 时间：
2014-07-19 00:28:52
阅读次数：
426
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.rm-ids ...
分类：
其他好文 时间：
2014-07-14 19:48:02
阅读次数：
359
背景: 由于访问国外站点资源, 有时特别慢. 偶尔一次下载, 肯定还能忍受, 对于多次使用或者小团队内部使用, 搭建一个镜像站点, 无疑是个明智的决定. 这边以搭建CDH5的yum源镜像, 作为例子, 具体阐述如何借助apache2搭建一个目录镜像服务, 以及如何复制站点资源.1) 搭建apac.....
分类：
其他好文 时间：
2014-06-27 18:23:22
阅读次数：
243
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
