hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Na....
分类:
其他好文 时间:
2014-09-01 17:27:43
阅读次数:
545
第一篇文章还有要修改的地方,现在我的集群已经扩展到5台(虚拟机)有些配置还要改,这一篇记录一下Hadoop HA 和zookeeper的配置,方便自己以后看。 新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。 在HDFS(HA...
分类:
其他好文 时间:
2014-09-01 02:43:42
阅读次数:
521
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。...
分类:
其他好文 时间:
2014-08-31 17:13:21
阅读次数:
295
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。...
分类:
其他好文 时间:
2014-08-31 17:11:31
阅读次数:
353
================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输..
分类:
其他好文 时间:
2014-08-30 19:11:30
阅读次数:
368
DEPRECATED: Use of this script to execute hdfs command is deprecated.本人安装的hadoop版本是2.4.0的,但每次执行命令时都会显示下面的信息hadoop@VM_160_34_centos:/usr/local/hadoop-2...
分类:
其他好文 时间:
2014-08-29 22:35:28
阅读次数:
265
hadoop 学习笔记:mapreduce框架详解 开始聊mapreduce,mapreduce是hadoop的计算框架,我 学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类:
其他好文 时间:
2014-08-28 21:18:16
阅读次数:
355
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html#%E7%A1%AC%E4%BB%B6%E9%94%99%E8%AF%AF
分类:
其他好文 时间:
2014-08-27 23:25:09
阅读次数:
203