码迷,mamicode.com
首页 >  
搜索关键字:hdfs architecture    ( 6541个结果
Hadoop技术内幕HDFS-笔记2
任何一个复杂的软件系统,为了提高其适应性和扩展性,一般都会有一个配置模块或者配置系统,作完成其扩展、定制的手段和方式。1.1. Windows的配置文件(第一次知道这事啊):采用的是ini后缀的文本文件,可通过动态链接库提供方法进行处理。初始化文件或profile概要文件1.2. Java配置文件:...
分类:其他好文   时间:2014-07-16 23:31:06    阅读次数:340
官方文档 恢复备份指南三 Recovery Manager Architecture
本节讨论以下问题:About the RMAN Environment 关于RMAN环境RMAN Command-Line Client RMAN命令行RMAN Channels RMAN通道RMAN Repository RMAN资源库Media Management 介质管理Fast Recov...
分类:其他好文   时间:2014-07-08 00:07:34    阅读次数:338
HBase概念学习(七)HBase与Mapreduce集成
这篇文章是看了HBase权威指南之后,根据上面的讲解搬下来的例子,这篇文章将讲解两个例子,和HBase权威指南稍微有些不一样。 1、读取存储在hdfs上的txt文本数据,简单地以json字符串的形式写入到HBase表中。 2、将第一步存储的HBase表中的json字符串读取出来,解析存储到新的HBase表中,可以进行查询。 本文详细给出了源码以及如何运行,旨在加深HBase与mapreduc...
分类:其他好文   时间:2014-06-29 23:21:21    阅读次数:340
Hbase快速开始——shell操作
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的.....
分类:其他好文   时间:2014-06-29 19:20:17    阅读次数:252
【甘道夫】Sqoop1.99.3基础操作--导入Oracle的数据到HDFS
Sqoop1.99.3基础操作--导入Oracle的数据到HDFS...
分类:数据库   时间:2014-06-28 08:51:31    阅读次数:229
hadoop配置说明
core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondar...
分类:其他好文   时间:2014-06-28 08:42:16    阅读次数:285
hadoop分布式架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件...
分类:其他好文   时间:2014-06-28 07:48:49    阅读次数:253
Android Video Playback----from Framework to Driver
1. Video File 2. Architecture Overview 3. Multimedia Framework...
分类:移动开发   时间:2014-06-28 07:44:11    阅读次数:271
[Hadoop] 令人迷惑的版本
由于Hadoop还处于初期高速发展的节点,加上它又是开源的,因此它的版本一直很混乱,Hadoop一些主要的特性有: Append:支持文件追加功能,如果想使用HBase,需要这个特性。 RAID : 在保证数据可靠的前提下,通过引入校验码减少数据块数目。详细链接:https://issues.apache.org/jira/browse/HDFS/component/12313080 ...
分类:其他好文   时间:2014-06-27 10:32:09    阅读次数:272
flume-ng1.4 安装配置
flume-ng1.4安装配置记录一下flume-ng的安装配置三个基本概念source:数据源channel:数据传输通道sink:数据目的地,如存储在hdfs配置:flume.conf#defineagent1.sources=source1agent1.channels=channel1agent1.sinks=sink1#agent1.sources.source1.type=spooldiragent1.sour..
分类:其他好文   时间:2014-06-27 06:41:36    阅读次数:221
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!