码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink lzo 格式压缩    ( 6349个结果
Hive中使用LZO
hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Na....
分类:其他好文   时间:2014-09-01 17:27:43    阅读次数:545
hadoop 2.2 第二步 HA zookeeper 配置
第一篇文章还有要修改的地方,现在我的集群已经扩展到5台(虚拟机)有些配置还要改,这一篇记录一下Hadoop HA 和zookeeper的配置,方便自己以后看。 新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。 在HDFS(HA...
分类:其他好文   时间:2014-09-01 02:43:42    阅读次数:521
Flume日志收集(转载)
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。...
分类:其他好文   时间:2014-08-31 17:13:21    阅读次数:295
Flume日志收集
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。...
分类:其他好文   时间:2014-08-31 17:11:31    阅读次数:353
Flume 1.5.0简单部署试用
================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输..
分类:其他好文   时间:2014-08-30 19:11:30    阅读次数:368
DEPRECATED: Use of this script to execute hdfs command is deprecated.
DEPRECATED: Use of this script to execute hdfs command is deprecated.本人安装的hadoop版本是2.4.0的,但每次执行命令时都会显示下面的信息hadoop@VM_160_34_centos:/usr/local/hadoop-2...
分类:其他好文   时间:2014-08-29 22:35:28    阅读次数:265
android自带zip轻松实现压缩解压
java实现zip格式压缩解压缩...
分类:移动开发   时间:2014-08-29 20:09:38    阅读次数:265
flume-ng-elasticsearch 索引时间命名问题(时区和时间格式)
目前版本还不支持,只把索引名称的加载项传递过去了
分类:其他好文   时间:2014-08-29 17:46:20    阅读次数:840
hadoop 学习笔记:mapreduce框架详解
hadoop 学习笔记:mapreduce框架详解   开始聊mapreduce,mapreduce是hadoop的计算框架,我 学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类:其他好文   时间:2014-08-28 21:18:16    阅读次数:355
hadoop学习地址
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html#%E7%A1%AC%E4%BB%B6%E9%94%99%E8%AF%AF
分类:其他好文   时间:2014-08-27 23:25:09    阅读次数:203
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!