一、简介HBase是基于列存储、构建在HDFS上的分布式存储系统，其主要功能是存储海量结构化数据。HBase构建在HDFS之上，因此HBase也是通过增加廉价的PC机提高系统运行和存储的能力。HBase中存储的表有如下特点：1、大表：一个表可以有数十亿行，上百万列；2、无模式：每行都有一..
分类：
其他好文 时间：
2015-01-23 11:26:03
阅读次数：
301
系统环境：
操作系统:Centos6.5X86_64fastdfs版本:FastDFS_v5.02.tar
Fastdfs_trackerIP:172.16.4.30
Fastdfs_storage_s1IP:172.16.4.31
Fastdfs_storage_s1IP:172.16.4.32
Fastdfs_clientIP:172.16.4.33
一.fastdfs和libevent的下载
地址:http://sourceforge.net/projects/fas..
分类：
其他好文 时间：
2015-01-22 11:19:34
阅读次数：
171
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2015-01-14 16:44:13
阅读次数：
131
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理...
分类：
数据库 时间：
2014-12-04 12:21:39
阅读次数：
236
转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些...
分类：
其他好文 时间：
2014-11-27 12:15:25
阅读次数：
219
Hbase简介Hbase是一个分布式的,面向列的开源数据库,该技术来源于Changetal所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,Hbase在Hadoop之上提供了类似于Bigtable的能力Hbase是Apache的..
分类：
其他好文 时间：
2014-11-26 06:47:41
阅读次数：
183
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
提出了一个灵活的、可扩展的分布式存储系统，给它取名字flexStore。这个分布式存储系统可以非常好的适应数据中心中不停变化的能源，给去重的虚拟机磁盘IO存取带来很好的性能。这些研究人员研究并提出了一种智能的控制来对付数据中心供电的限制，因为有可能存储阵列的节点密度增加了，也有可能绿色能源和传统能源混合一起给数据中心供电。...
分类：
其他好文 时间：
2014-11-21 12:43:51
阅读次数：
371
