作者介绍： 徐祥曦，七牛云工程师，独立开发了多套高性能纠删码/再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。 前言： 在上篇《如何选择纠删码编码引擎》中，我们简单了解了 Reed-Solomon Codes（RS 码）的编／解码过程，以及编码引擎的评判标准。但并没有就 ...
分类：
其他好文 时间：
2017-05-24 14:39:34
阅读次数：
229
《大规模分布式存储系统：原理解析与架构实战》读书笔记 近期一直在分析OceanBase的源代码，恰巧碰到了OceanBase的核心开发人员的新作《大规模分布式存储系统：原理解析与架构实战》.看完样章后决定入手，果然物有所值。对于准备学习分布式的同学，这是一本不错的书籍，相对系统，全面的介绍了分布式的 ...
分类：
其他好文 时间：
2017-05-20 22:37:00
阅读次数：
202
部署Hadoop高性能集群服务器概述1）Hadoop是什么Hadoop是Lucene创始人DougCutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce程序，hdfs系统等。Hadoop包括两大核心，分布式存储系统和分布式计算系统。2）分布..
分类：
其他好文 时间：
2017-05-16 15:06:05
阅读次数：
316
《大规模分布式存储系统：原理解析与架构实战》读书笔记 在了解了 Bitcask存储模型后,又開始研究LSM树存储引擎。LSM在实现的过程中使用了一个非常有意思的数据结构：跳跃表。之前在《算法导论公开课》中听过这一节。当时感觉这样的结构和二叉树简直是殊途同归，可是一直没有亲自己主动手实现过。这次又遇到 ...
分类：
其他好文 时间：
2017-05-13 17:00:10
阅读次数：
290
曾经的学习笔记 1.Hadoop简介： a) 分布式存储系统HDFS b) 分布式计算框架MapReduce 2.HDFS优点： a) 高容错性 b) 适合批处理 c) 适合大数据处理 d) 可构建在廉价机器上 3.HDFS的缺点： a) 低延迟数据访问 b) 小文件存取 c) 并发写入、文件随机修 ...
分类：
其他好文 时间：
2017-05-04 18:34:27
阅读次数：
188
HBase:HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提 ...
分类：
其他好文 时间：
2017-05-04 18:30:01
阅读次数：
218
分布式系统实践 1. Kudu vs HBase http://dwz.cn/5PF5gq 摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu, kudu从外部形态上来说和HBase非常像, 这篇文章分析了二者的差异和定位. 2. Leaf——美团点评分布式ID生成系统 htt ...
分类：
其他好文 时间：
2017-04-28 10:27:47
阅读次数：
324
一、存储方式比较传统网络存储系统采用集中式存储服务器存放数据，存储服务器很容易成为系统性能瓶颈。不能满足大规模存储应用的需求。分布式存储系统将数据分散存储在多台独立的设备上，采用可扩展的系统结构。利用多台存储服务器分担存储负荷。满足大规模存储需求的同时提供..
分类：
其他好文 时间：
2017-04-17 14:52:39
阅读次数：
3755
一、mapreduce入门 1、什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 Mapredu ...
分类：
其他好文 时间：
2017-04-14 12:53:42
阅读次数：
254
作者介绍：徐祥曦，七牛云工程师，独立开发了多套高性能纠删码/再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。前言：随着数据的存储呈现出集中化（以分布式存储系统为基础的云存储系统）和移动化（互联网移动终端）的趋势，数据可靠性愈发引..
分类：
其他好文 时间：
2017-04-14 10:48:16
阅读次数：
580
