Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类：
其他好文 时间：
2014-08-02 07:45:03
阅读次数：
366
一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求...
分类：
其他好文 时间：
2014-07-30 09:59:03
阅读次数：
358
生成yum源cd/var/ftp/pub/cdh/5createrepo --update .从节点yum clean all配置yum库/etc/yum.repos.d# cat /etc/yum.repos.d/cloudera-cdh.repo [hadoop]name=hadoopbaseu...
分类：
其他好文 时间：
2014-07-29 17:39:02
阅读次数：
264
Flume简介
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
系统功能
日志收集
Flume最早是Cloud...
分类：
其他好文 时间：
2014-07-28 14:41:13
阅读次数：
491
使用Cloudera Manager 安装CDH，虽然方便快捷，但是在中国国情的网速下还是需要进行一些特别的处理，才能顺利安装。本文汇总了多个参考文档，详细的记录了安装过程和期间出现的问题与解决方法。...
分类：
其他好文 时间：
2014-07-24 23:02:34
阅读次数：
455
HDFS设计之处并不支持给文件追加内容，这样的设计是有其背景的（如果想了解更多关于HDFS的append的曲折实现，可以参考《File Appends in HDFS》：http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/），但从HD...
分类：
移动开发 时间：
2014-07-22 08:13:34
阅读次数：
257
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
Hadoop创始人 Doug Cutting，现任cloudera公司CTODoug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”Hadoop是一个能够对...
分类：
其他好文 时间：
2014-07-19 13:38:13
阅读次数：
250
Flume的内置监控怎么整？这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具，以及从浏览器获取json串，或者自定义向其他监控系统汇报信息。那监控的信息是什么呢？就是各个组件的统计信息，比如成功接收的Event数量、成功发送的Even.....
分类：
其他好文 时间：
2014-07-16 17:54:32
阅读次数：
253
无论是采用GDB调试impala或者尝试修改impala源码，前提都是需要本地环境编译impala，这篇文章详细的分享一下impala编译方法以及编译过程遇到的棘手的问题：前言：impala官方的git上其实是有impala编译的步骤的，但是在后来的git版本迭代中，被藏在了一个诡异的地方，http...
分类：
其他好文 时间：
2014-07-13 00:43:23
阅读次数：
785
