Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类：
其他好文 时间：
2014-08-02 07:45:03
阅读次数：
366
生成yum源cd/var/ftp/pub/cdh/5createrepo --update .从节点yum clean all配置yum库/etc/yum.repos.d# cat /etc/yum.repos.d/cloudera-cdh.repo [hadoop]name=hadoopbaseu...
分类：
其他好文 时间：
2014-07-29 17:39:02
阅读次数：
264
使用Cloudera Manager 安装CDH，虽然方便快捷，但是在中国国情的网速下还是需要进行一些特别的处理，才能顺利安装。本文汇总了多个参考文档，详细的记录了安装过程和期间出现的问题与解决方法。...
分类：
其他好文 时间：
2014-07-24 23:02:34
阅读次数：
455
把CDH搭建起来了，跑其中的例子程序word-count。在控制台界面一直显示map 0% ?reduce 0% ， 通过web页面查看job的状态一直是run,但是map没有执行。感觉是是资源的分配有问题。接着查看了任务的日志。 2014-07-04...
分类：
其他好文 时间：
2014-07-21 10:27:54
阅读次数：
822
destpath='/home/hadoop/soft/hadoop-2.0.0-cdh4.5.0/cdhlib/'jarpath='/home/hadoop/soft/hadoop-2.0.0-cdh4.5.0/share/hadoop/'search='jar'iterdir(){ cd $1 ...
分类：
其他好文 时间：
2014-07-18 16:35:53
阅读次数：
225
之前一直用phpHiveAdmin，也一直在关注hue，最近打算调研一下hue，hue在最近两年发展很快,页面效果和功能上都有很大程度的提升，所支持的服务也越来越多，除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer，在本地使用SQLLite作..
分类：
其他好文 时间：
2014-07-04 06:16:59
阅读次数：
469
由于Hadoop还处于初期高速发展的节点，加上它又是开源的，因此它的版本一直很混乱，Hadoop一些主要的特性有：
Append：支持文件追加功能，如果想使用HBase，需要这个特性。
RAID ： 在保证数据可靠的前提下，通过引入校验码减少数据块数目。详细链接：https://issues.apache.org/jira/browse/HDFS/component/12313080
...
分类：
其他好文 时间：
2014-06-27 10:32:09
阅读次数：
272
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
1：引入的jar包1.X版本有hadoop-core包；而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib
+hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar
+\share\hadoo...
分类：
其他好文 时间：
2014-06-12 13:59:33
阅读次数：
255
