一、方案图该方案可以解决nfs服务器的单点故障问题,也可以解决数据的备份难题,可以作为公司从nfs文件系统-->分布式存储系统的过渡解决方案。由于我公司从初创到至今,用户的产生数据量与日俱增,在探讨了现有nfs文件系统不能解决现有问题以及现阶段部署分布式存储系统的大..
分类:
其他好文 时间:
2015-04-21 02:11:04
阅读次数:
360
转自:http://blog.csdn.net/iAm3331 什么是HBase?HBase,是Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉价的PC服务器上搭建起大规模结构化的存储集群。它底层的文件系统使用HDFS,使用Zooke...
分类:
数据库 时间:
2015-04-06 21:48:24
阅读次数:
387
介绍分布式系统主要分为分布式计算系统,与分布式存储系统。系统相关
分类:
其他好文 时间:
2015-04-06 18:30:15
阅读次数:
147
Tachyon是什么? Tachyon是一个高性能、高容错、基于内存的开源分布式存储系统,并具有类Java的文件API、插件式的底层文件系统、兼容Hadoop MapReduce和Apache Spark等特征。Tachyon能够为集群框架(如Spark、MapReduce等)提供内存级速度的跨集...
分类:
其他好文 时间:
2015-04-03 15:15:09
阅读次数:
196
HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于B...
分类:
其他好文 时间:
2015-04-01 15:17:51
阅读次数:
280
本质上来说,ZK也是一种分布式存储系统,下面就从分布式存储的角度来看下ZK的设计跟实现。...
分类:
其他好文 时间:
2015-03-11 00:43:55
阅读次数:
160
一、问题描述由于namenode 是HDFS的大脑,而这个大脑又是单点,如果大脑出现故障,则整个分布式存储系统就瘫痪了。HA(High Available)机制就是用来解决这样一个问题的。碰到这么个问题,首先本能的想到的就是冗余备份,备份的方式有很多种,前辈们设计的有元数据备份方案,secondar...
分类:
其他好文 时间:
2015-03-11 00:35:32
阅读次数:
211
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HB...
分类:
数据库 时间:
2015-03-03 15:05:05
阅读次数:
225
谷歌技术"三宝"之BigTable2006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统,构建在GFS、Chubby、SSTable等google技术之上。相当多...
分类:
其他好文 时间:
2015-02-12 13:51:17
阅读次数:
368
分布式存储系统按照所存储的数据对象不同,分为四类:分布式文件系统(存储图片、音频、视频等非结构化的Blob对象、定长块以及大文件等)、分布式表格系统(存储关系较为复杂的半结构化数据)、分布式键值系统(存储关系简单的半结构化数据)和分布式数据库(存储结构化数据)等。...
分类:
其他好文 时间:
2015-01-31 00:31:16
阅读次数:
176