码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink lzo 格式压缩    ( 6349个结果
Flume-NG启动过程源码分析(三)(原创)
上一篇文章分析了Flume如何加载配置文件的,动态加载也只是重复运行getConfiguration()。 本篇分析加载配置文件后各个组件是如何运行的? 加载完配置文件订阅者Application类会收到订阅信息执行: @Subscribe public synchronized voi...
分类:其他好文   时间:2014-07-22 23:16:35    阅读次数:527
Hadoop single Node cluster
目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux 可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:其他好文   时间:2014-07-22 23:14:55    阅读次数:435
Hadoop的文件读写操作流程
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图: 客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:其他好文   时间:2014-04-30 13:39:04    阅读次数:375
Hadoop 介绍
1.Hadoop简介Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数...
分类:其他好文   时间:2014-04-30 03:17:00    阅读次数:604
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程 一、           配置Hadoop 源码包:hadoop-2.3.0-src.tar.gz 1.     安装以下软件: yum -yinstall  lzo-devel  zlib-devel gcc autoconf automake li...
分类:其他好文   时间:2014-04-29 13:37:20    阅读次数:541
hadoop生态系统默认端口集合
1 HDFS服务中,默认端口集合:  1. HDFS 端口 Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters NameNode WebUI Master Nodes (NameNo...
分类:其他好文   时间:2014-04-29 13:24:21    阅读次数:492
HBase的JavaAPI使用
Java Client API Overview HBase是用Java写的,支持用编程语言来动态操作管理数据库,能用命令行做的都可以用API来做。 基本的使用过程如下: 1.创建一个 Configuration 对象 –从 HDFS 对象中调用 Configuration  –添加 HBase 属性 Configuration conf = HbaseConfiguration....
分类:编程语言   时间:2014-04-29 13:12:21    阅读次数:410
Hadoop自学笔记(五)配置分布式Hadoop环境
如何把Hadoop配置到多台机器中,构建分布式数据处理环境...
分类:其他好文   时间:2014-04-28 10:44:41    阅读次数:293
Hdfs的ACL测试
Hadoop从2.4.0版本开始支持hdfs的ACL,在CDH5.0当中也继承了该特性,下面对其进行一些测试: 一、启用ACL: dfs.permissions.enabled true dfs.namenode.acls.enabled true 二、测试ACL: ① [hadoop@master ~]$ groups hadoop 创建目录并上传文件: [...
分类:其他好文   时间:2014-04-27 21:18:00    阅读次数:306
6349条   上一页 1 ... 633 634 635
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!