ceph介绍Ceph是统一存储系统，支持三种接口。Object：有原生的API，而且也兼容Swift和S3的APIBlock：支持精简配置、快照、克隆File：Posix接口，支持快照Ceph也是分布式存储系统，它的特点是：高扩展性：使用普通x86服务器，支持10~1000台服务器，支持TB到PB级的扩展。高可靠性..
分类：
其他好文 时间：
2016-12-08 00:10:39
阅读次数：
418
1.文章背景：有些web网站需要满足客户的高并发请求、大数据量存取等需求，这些情景下需要对网站进行整体架构分析，然后确定符合要求的系统架构方式，包括服务器集群、负载均衡器的选择、数据库集群的架构、缓存服务器的搭建、分布式存储系统、代码分发系统等各方面的内容。 2.大型web网站的系统架构方式 概述： ...
分类：
Web程序 时间：
2016-11-29 19:00:17
阅读次数：
193
一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop1.x和0.21.X，0.22.x。1、MapReduce角色分配 Client：作..
分类：
其他好文 时间：
2016-11-07 20:19:08
阅读次数：
230
分布式系统实践 1. 微信PaxosStore内存云揭秘：十亿Paxos/分钟的挑战 http://dwz.cn/4r4gDD 摘要: PaxosStore是微信设计的一套分布式存储系统，并已对核心业务存储做了架构改造。内存云是微信PaxosStore存储体系的组成部分，本文将分享内存云的Paxos ...
分类：
其他好文 时间：
2016-10-29 22:08:04
阅读次数：
314
1、 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据，具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 与MapReduc ...
分类：
其他好文 时间：
2016-10-17 07:24:17
阅读次数：
374
分布式系统要做的任务就是把多台机器有机的组合、连接起来，让其协同完成一件任务，可以是计算任务，也可以是存储任务。如果一定要给近些年的分布式系统研究做一个分类的话，大概可以包括三大部分：1.分布式存储系统2.分布式计算系统3.分布式管理系统这是一个范围比较广的话题..
分类：
其他好文 时间：
2016-10-17 00:38:06
阅读次数：
366
**什么是分布式存储：分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多..
分类：
其他好文 时间：
2016-10-14 00:58:28
阅读次数：
300
HBase入门修行基础篇HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的..
分类：
其他好文 时间：
2016-10-11 00:28:16
阅读次数：
302
近几个月主要参与一个分布式存储系统的纠删码部分（用于数据容错），纠删码在学术界出现比较早，现在ceph，微软的存储系统，Hadoop 3.0等都用了EC。文章会分为多篇，主要将Erasure Code...
分类：
其他好文 时间：
2016-09-06 23:14:04
阅读次数：
1410
一、问题描述 由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，seconda ...
分类：
其他好文 时间：
2016-08-26 19:52:33
阅读次数：
138
