================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输..
分类:
其他好文 时间:
2014-08-30 19:11:30
阅读次数:
368
一、安装jdk配java环境rpm-ivhjdk.rpm打开/etc/profile增加:JAVA_HOME=/usr/java/jdk1.7.0_60
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH二、安装mysqlyuminstallmysql-servermysql
#初始化
mysql_install_db
#运行produc..
分类:
其他好文 时间:
2014-08-29 18:31:38
阅读次数:
315
新建cloudera-scm用户(做了分行,这个是一条linux命令,)[hadoop@mastercloudera-manager-5.1.0]$sudouseradd--system
--home=/opt/cloudera-manager-5.1.0/run/cloudera-scm-server
--no-create-home--shell=/bin/false--comment"ClouderaSCMUser"cloudera-scm改/opt/cloude..
分类:
其他好文 时间:
2014-08-24 04:09:52
阅读次数:
274
安装Lab平台,CDH5安装失败,查看/var/log/发现/usr目录太校[root@masterusr]#cat/var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
TransactionCheckError:
installingpackagecloudera-manager-daemons-5.1.1-1.cm511.p0.82.el6.x86_64needs436MBon..
分类:
系统相关 时间:
2014-08-20 02:45:26
阅读次数:
378
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
这里我主要讲述我测试flume failover(容错)和load balance(负载均衡)的几个场景以及注意的点。...
分类:
其他好文 时间:
2014-08-14 16:48:08
阅读次数:
578
1. Impala架构 Impala是Cloudera在受到Google的Dremel启示下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coord...
分类:
其他好文 时间:
2014-08-09 15:39:48
阅读次数:
451
安装前准备
1. 虚拟机3个,安装Centos 6.5, 内存设置为4GB
2. 配置yum源为163(不配置,在安装软件时,慢的要死)
3. 关闭防火墙( iptables),disabled SELinux
4. 配置静态IP,并在/etc/hosts中将Hadoop集群中的主机名加进去
安装
1. 在Cloudera官网上下载 cloudera-manager-i...
分类:
其他好文 时间:
2014-08-09 00:12:07
阅读次数:
313
1. I am Charles Humble and I am here at QCon London with Eva Andreasson from Cloudera. Eva, can you introduce yourself to the InfoQ community?Who am I...
分类:
其他好文 时间:
2014-08-07 17:59:50
阅读次数:
279
什么是Sentry? ?????????Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 ????????通过引进Sentry,Hadoop目前可在以下方面满足企...
分类:
其他好文 时间:
2014-08-06 23:19:12
阅读次数:
764
翻译自cloudera,原文直通车:Apache HBase Write Path Apache HBase也就是Hadoop Database是基于HDFS之上的.HBase可以随机获取和更新存储在HDFS上的记录。但是HDFS 上的文件只能追加而且一旦创建便无法修改。说到这里你或许会问:那HBa...
分类:
其他好文 时间:
2014-08-04 21:20:57
阅读次数:
264