上一篇文章分析了Flume如何加载配置文件的,动态加载也只是重复运行getConfiguration()。
本篇分析加载配置文件后各个组件是如何运行的? 加载完配置文件订阅者Application类会收到订阅信息执行: @Subscribe public
synchronized voi...
分类:
其他好文 时间:
2014-07-22 23:16:35
阅读次数:
527
目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图:
客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:
其他好文 时间:
2014-04-30 13:39:04
阅读次数:
375
1.Hadoop简介Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop
Distributed File
System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high
throughput)来访问应用程序的数...
分类:
其他好文 时间:
2014-04-30 03:17:00
阅读次数:
604
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
一、 配置Hadoop
源码包:hadoop-2.3.0-src.tar.gz
1. 安装以下软件:
yum -yinstall lzo-devel zlib-devel gcc autoconf automake li...
分类:
其他好文 时间:
2014-04-29 13:37:20
阅读次数:
541
1 HDFS服务中,默认端口集合:
1. HDFS 端口
Service
Servers
Default Ports Used
Protocol
Description
Need End User Access?
Configuration Parameters
NameNode WebUI
Master Nodes (NameNo...
分类:
其他好文 时间:
2014-04-29 13:24:21
阅读次数:
492
Java Client API Overview
HBase是用Java写的,支持用编程语言来动态操作管理数据库,能用命令行做的都可以用API来做。
基本的使用过程如下:
1.创建一个 Configuration 对象
–从 HDFS 对象中调用 Configuration
–添加 HBase 属性
Configuration conf = HbaseConfiguration....
分类:
编程语言 时间:
2014-04-29 13:12:21
阅读次数:
410
如何把Hadoop配置到多台机器中,构建分布式数据处理环境...
分类:
其他好文 时间:
2014-04-28 10:44:41
阅读次数:
293
Hadoop从2.4.0版本开始支持hdfs的ACL,在CDH5.0当中也继承了该特性,下面对其进行一些测试:
一、启用ACL:
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
二、测试ACL:
①
[hadoop@master ~]$ groups
hadoop
创建目录并上传文件:
[...
分类:
其他好文 时间:
2014-04-27 21:18:00
阅读次数:
306