前边已经介绍了一种hadoop的安装工具，但是HDP动态添加节点会有一些问题，而且现在用的人好像不是很多，如果想用官方更多的，可以选择HDP，如果想使用更方便一些，可以选择CDH。安装HDP可以参考：使用HDP快速搭建Hadoop开发环境http://www.debugo.com/hdp-dev-s...
分类：
其他好文 时间：
2015-04-24 15:35:56
阅读次数：
311
在CM配置管理中的"hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）""仅适用于高级使用，逐个将字符串插入hive-site.xml的客户端配置。"举的是hive的例子，其它项目中也是在类似字段添加属性。 添加个截图吧，截图如下：
分类：
其他好文 时间：
2015-04-21 12:45:19
阅读次数：
141
Build Spark1.3.1 with CDH HADOOP1、找到CDH的版本[root@web02 spark1.3]# hadoop version
Hadoop 2.0.0-cdh4.7.0
Subversion file:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4...
分类：
其他好文 时间：
2015-04-20 16:55:39
阅读次数：
114
公司有一个Spark on Yarn集群，基于CM5.2.0+CDH5.2.0搭建，Spark的版本是1.1.0.为了使用Spark1.2.0的一些特性，决定将集群版本升级到CM5.3.3+CDH5.3.3。之所以升级CM，是因为CM的版本号必须大于等于CDH的版本号。下面分成两个步骤介绍升级过程：CM升级和CDH升级。
1 CM升级过程介绍
1.1 admin用户登陆http://1...
分类：
其他好文 时间：
2015-04-15 13:38:14
阅读次数：
279
鉴于hadoop的版本太多，并且组建也多，对于新手来说安装起来往往不是很容易，本文专门以CDH5的发行版为例讲解了hadoop，hbase，hive的单机安装方法。并附上所用到的一些安装包，第三方jar包，配置文件等。...
分类：
其他好文 时间：
2015-04-15 13:32:45
阅读次数：
373
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：-http://hadoop.apache.org/releases.html-SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributedHadoop，100%永久开源）下载地址：-http://archive.cloudera.com/cdh4/cdh/4/（是ta..
分类：
其他好文 时间：
2015-04-07 19:58:25
阅读次数：
363
Sqoop1vs Sqoop2
1：两个不同版本，完全不兼容
2：版本号划分方式
Apache：1.4.x~ ，1.99.x~
CDH：sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/
3：Sqoop2比Sqoop1的改进
引入sqoop server，集中化管理Connector等
多种访问方式：CLI...
分类：
其他好文 时间：
2015-03-29 12:19:44
阅读次数：
1139
因为CDH上需要用它来建HIVE的元库。。。参考：http://www.cnblogs.com/mchina/archive/2012/06/06/2539003.html一、简介PostgreSQL 是一种非常复杂的对象-关系型数据库管理系统（ORDBMS），也是目前功能最强大，特性最丰富和最复杂...
分类：
数据库 时间：
2015-03-19 16:08:01
阅读次数：
242
当然，在作模板的过程中，我们除了要定义好SELINUX，IPTABLES之后，HOSTS文件维护，用ZOOKEEPER还是RSYNC实现？都要在前期好好规划。。脚本如下，一般改成自己的就可以用。现在就是看看如何进行一次性脚本运行，而不需要手工参与，就全自动啦。。#!/bin/bash#此脚本实现从E...
分类：
其他好文 时间：
2015-03-16 00:57:36
阅读次数：
261
在安装CDH时，这是个绕不过去的坎。参考URL：http://www.21ops.com/linux/26465.html奇怪的是，我并没执行creatrepo这个，直接将光盘MOUNT来用的。多台服务器在Centos6.5 mini安装后，需要安装一些基础软件包，从外网yum安装，很费时间，也占用...
分类：
Web程序 时间：
2015-02-12 18:11:19
阅读次数：
206
