HBaseHbase是一个分布式的、面向列的开源数据库，该技术来源于Changetal所写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bittable的能力。HBase是Apa..
分类：
其他好文 时间：
2014-09-04 02:58:08
阅读次数：
325
Hadoop学习笔记： 1、Hadoop三种安装模式 本地模式：本地模式是Hadoop默认的模式，只有Hadoop被配置成以非分布式模式运行的一个独立Java进程。默认模式下所有3个XML文件均为空，此时，Hadoop会完全运行在本地。它...
分类：
其他好文 时间：
2014-08-30 19:15:10
阅读次数：
406
hadoop 学习笔记：mapreduce框架详解 开始聊mapreduce，mapreduce是hadoop的计算框架，我 学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类：
其他好文 时间：
2014-08-28 21:18:16
阅读次数：
355
在学习Hadoop之前，先了解一下大数据相关的知识：1.大数据背景大数据的产生：众所周知，随着信息社会的快速发展，信息量以爆发式的速度增长，这些信息包括来自互联网的大数据、大量传感器的机器数据、行业的内容数据。这些数据的特征表现为数据量大，一般为TB级或PB级甚至更大..
分类：
其他好文 时间：
2014-08-24 19:31:13
阅读次数：
203
HDFS简介HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。1.HDFS有以下几个主要特点：处理超大文件：存储的一个超大..
分类：
其他好文 时间：
2014-08-24 19:30:13
阅读次数：
275
Hadoop学习笔记(10) ——搭建源码学习环境 上一章中，我们对整个hadoop的目录及源码目录有了一个初步的了解，接下来计划深入学习一下这头神象作品了。但是看代码用什么，难不成gedit?，单步调试呢？ 看程序不能调那多痛苦啊，想看跟踪一下变量，想看一下执行路径都难。 所以这里，我们得把这个....
分类：
其他好文 时间：
2014-08-18 14:20:02
阅读次数：
162
Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门，下载的源码，写了HelloWorld，简要分析了其编程要点，然后也编了个较复杂的示例。接下来其实就有两条路可走了，一条是继续深入研究其编程及部署等，让其功能使用的淋漓尽致。二是停下来，先看看其源码，研究下如何实现的。在这里....
分类：
其他好文 时间：
2014-08-18 08:01:43
阅读次数：
219
hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是..
分类：
其他好文 时间：
2014-08-17 01:11:02
阅读次数：
241
HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
