??
本文介绍下分布式系统设计中的一些关键问题及解决思路:
数据的分布方式
副本的保存方式
副本的控制
节点状态监控
1）数据的分布方式
hash分布
用于key-value模型的存储系统中，数据库中的分表也可以使用这种方式。
利用hash函数将对象散列到不同的机器。
优点：
散列型号，分布均匀，实现简单。
缺点
可扩展性（scalability）不强，增加新的机...
分类：
其他好文 时间：
2014-07-19 02:31:15
阅读次数：
246
《大规模分布式存储系统：原理解析与架构实战》读书笔记 :在了解了Bitcask存储模型后,又开始研究LSM树存储引擎。LSM在实现的过程中使用了一个很有意思的数据结构：跳跃表。之前在《算法导论公开课》中听过这一节。当时感觉这种结构和二叉树简直是殊途同归，但是一直没有亲自动手实现过。这次又遇到了，就来实现试试看。话说跳跃表和各种平衡树一样，都是用来加速查询的。要随手实现一个B树不容易，但是实现一个跳跃表就简单很多。...
分类：
其他好文 时间：
2014-07-18 23:08:17
阅读次数：
411
一个大型的网站网站应该由如下6个子系统组成负载均衡系统反向代理系统Web服务器系统分布式存储系统底层服务系统数据库集群系统为什么要做高并发系统设计？事实上，针对于任何单一的网络服务器程序，其可承受的同时连接数目是有理论峰值的，通过C＋＋中对TSocket的定义类型：word，我们可以判 定这个连接理...
分类：
Web程序 时间：
2014-07-16 19:04:48
阅读次数：
240
----《大规模分布式存储系统：原理解析与架构实战》读书笔记
最近一直在分析OceanBase的源码，恰巧碰到了OceanBase的核心开发者的新作《大规模分布式存储系统：原理解析与架构实战》.看完样章后决定入手，果然物有所值。对于准备学习分布式的同学，这是一本不错的书籍，相对系统，全面的介绍了分布式的相关技术和项目，基本都是干货。还有一半是在介绍OceanBase的内容，对我来说，正是...
分类：
其他好文 时间：
2014-07-14 13:59:05
阅读次数：
228
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的.....
分类：
其他好文 时间：
2014-06-29 19:20:17
阅读次数：
252
存储能力是提供给上层业务系统以实现文件存取服务，这个存储能力为XDFS，即可扩展的分布式文件系统，实现的原理是封装了第三方的分布式存储系统实现的。目前封装的第三方分布式系统包括FastDFS、Hadoop的HDFS，所提供的存储接口如下： 1 文件上传 2 文件断点上传 3 文件...
分类：
其他好文 时间：
2014-06-20 21:21:55
阅读次数：
470
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Name...
分类：
其他好文 时间：
2014-06-10 12:40:13
阅读次数：
275
Hbase简介
Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。
类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索...
分类：
其他好文 时间：
2014-06-08 18:24:32
阅读次数：
563
【转自】：http://www.superwu.cn/2014/01/10/963/1.1.1.
hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1.
分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不...
分类：
其他好文 时间：
2014-05-29 01:24:12
阅读次数：
284
本篇博客从Web集群中亟需解决的大容量存储问题引入，分析了几类常用的共享存储架构，重点解析了分布式存储系统的原理及配置实现；===================================================================1共享存储的架构演变2分布式存储系统2.1基础知识2.2分类2.3CAP理论2.4协议..
分类：
Web程序 时间：
2014-05-20 21:42:00
阅读次数：
862
