原文 http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloud ...
分类：
其他好文 时间：
2016-09-14 18:58:07
阅读次数：
209
编译spark1.6.1源码 正常的情况下从spark官方网站下载的发行包已经可以满足正常使用（默认支持了hive），但如果要编译相应cdh版本的hadoop或者把ganglia打包进来等，那就要重新指定编译参数来重新编译源码了。建议最好在linux环境下进行编译。 1.源码下载 官网下载地址：ht ...
分类：
其他好文 时间：
2016-09-14 00:07:44
阅读次数：
227
1.flume的安装和配置 1.1 配置java_home,修改/opt/cdh/flume-1.5.0-cdh5.3.6/conf/flume-env.sh文件 1.2 配置hdfs集成 1.2.1添加hdfs的jar包到/opt/cdh/flume-1.5.0-cdh5.3.6/lib目录下 c ...
分类：
Web程序 时间：
2016-09-11 00:02:52
阅读次数：
341
1.sqoop的安装 1.1 与hadoop和hive的集成，修改/opt/cdh/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh 文件 1.2 验证安装是否成功 bin/sqoop version 查看sqoop版本 2.sqoop 基本操作 2.1 查看sqoop可 ...
分类：
其他好文 时间：
2016-09-10 13:02:24
阅读次数：
254
在cdh 上安装spark on yarn 还是比较简单的，不需要独立安装什么模块或者组件。 安装服务 选择on yarn 模式：上面 Spark 在spark 服务中添加 在yarn 服务中添加 getWay 后重新 启动服务端 用hdfs 用户进入 spark bin 目录 cd /opt/cl ...
分类：
其他好文 时间：
2016-09-08 16:16:18
阅读次数：
164
公司部署了三台虚拟机用来跑CDH的套件，不过一次重启后突然CDH就起不来了。查看zookeeper的日志文件，就是 connection refused，感觉很莫明。 后来查看了 slave2的日志发现了： 竟然是时钟同步问题！ 运行： 解决问题... 由此问题引发的思考，以后在管理这种集群时，一定 ...
分类：
其他好文 时间：
2016-09-05 19:20:12
阅读次数：
229
三台CentOS：Host0，Host1，Host2 在三台中分别安装zookeeper-server 修改zookeeper的配置文件（/etc/zookeeper/conf/zoo.cfg） 因为zookeeper集群共有3个节点，所以在配置文件中添加server.0，server.1，serv ...
分类：
其他好文 时间：
2016-09-03 13:44:27
阅读次数：
961
测试环境 节点: 2 台主节点，6台计算节点 机器配置: 16个物理核 128G内存 12*3T磁盘 操作系统: redhat 7.2 版本: CDH 5.7.1-1.cdh5.7.1.p0.11 impala_kudu 2.7.0-1.cdh5.9.0.p0.23 kudu 0.9.1-1.kud ...
分类：
其他好文 时间：
2016-09-01 11:06:29
阅读次数：
262
Hadoop 是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera 对 Hadoop做了相应的改变。Cloudera 公司的发行版，我们将该版本称为 CDH（Cloudera Distribution Hadoop），它最主要的作用是管理、监控、诊断、集成。 这个很像咱们日常安装软件一 ...
分类：
其他好文 时间：
2016-08-21 18:29:58
阅读次数：
198
前言impala的负载均衡，使用haproxy来做，主要是比较简单。安装后做一个小配置就行。主要用的就是haproxy四层交换机的特性，讲所有指向haproxy主机和端口的请求，转发到相应的主机：端口上。cdh官网里面的信息已经比较久了，有些配置需要改，因此做一个笔记。impala负载安装haproxyyum install haproxy配置文件vim /etc/haproxy/haproxy.c...
分类：
其他好文 时间：
2016-08-18 13:02:07
阅读次数：
227
