与2.x之间的变化 1.Java的版本由最低java7变化java8 2.HDFS支持纠删码(Erasure Coding) 与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有 1.4 倍的空间开销；然而HDFS副本则会有3倍的空间开销。因 ...
分类：
其他好文 时间：
2016-09-23 18:23:08
阅读次数：
132
近几个月主要参与一个分布式存储系统的纠删码部分（用于数据容错），纠删码在学术界出现比较早，现在ceph，微软的存储系统，Hadoop 3.0等都用了EC。文章会分为多篇，主要将Erasure Code...
分类：
其他好文 时间：
2016-09-06 23:14:04
阅读次数：
1410
目 录第1章 引言 1.1 文档说明 1.2 参考文档 第2章 纠删码概念和原理 2.1 概念 2.2 原理 第3章 CEPH纠删码介绍 3.1 CEPH纠删码用途 3.2 CEPH纠删码库 3.3 CEPH纠删码数据存储 3.3.1 编码块读写 3.3.2 间断全写 3.4 使用范围 3.4.1 ...
分类：
其他好文 时间：
2016-08-04 19:22:59
阅读次数：
151
前言在之前我的一篇文章中,已经聊到过一次关于HDFS EC方面的内容(文章链接Hadoop 3.0 Erasure Coding 纠删码功能预分析),所以本文算是对其内容的一次补充.之前的文章中主要是从宏观的层面上阐述了HDFS EC的作用以及相应的使用场景,并没有深入到内部相关架构设计以及具体EC算法的的内容.本文主要=阐述的内容正在于这两方面.Erasure Coding技术EC是Erasure...
分类：
其他好文 时间：
2016-07-17 00:26:09
阅读次数：
226
分布式系统实践 1. HDFS EC：将纠删码技术融入HDFS https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650686551&idx=1&sn=1369ddcaedbcd58124e77ab19a8cea24&scene=0&key ...
分类：
其他好文 时间：
2016-06-06 09:09:39
阅读次数：
231
前言
HDFS也可以支持Erasure Coding功能了,将会在Hadoop 3.0中发布,可以凭图为证:
在HDFS-7285中,实现了这个新功能.鉴于此功能还远没有到发布的阶段,可能后面此块相关的代码还会进行进一步的改造,因此只是做一个所谓的预分析,帮助大家提前了解Hadoop社区目前是如何实现这一功能的.本人之前也没有接触过Erasure Coding技术,中间过程也确实有些偶然,...
分类：
其他好文 时间：
2016-02-26 17:14:15
阅读次数：
593
[转]Reed Solomon纠删码 http://peterylh.blog.163.com/blog/static/12033201371375050233/纠删码是存储领域常用的数据冗余技术， 相比多副本复制而言， 纠删码能够以更小的数据冗余度获得更高数据可靠性。 Reed Solomon C...
分类：
其他好文 时间：
2015-05-04 01:05:02
阅读次数：
162
一、布局
主机共有node1，node2，node3三个，每台主机有三个OSD，如下图所示，其中osd1,3,5,6,7,8为SSD盘，2,3,4为SATA盘。
三台主机上各有一个Monitor，也各有一个MDS。
我们用osd1,3,4建一个pool名叫ssd，采用三副本的形式，osd0,2,4建一个Pool名字叫sata，采用纠删码的形式，...
分类：
其他好文 时间：
2014-12-25 14:37:24
阅读次数：
313
个人浏览网页的时候，有打标签的习惯。最近整理以往的标签的时候，发现积累了一些有关七牛公司存储方案的网页，遂决定整理一篇文章处理，以备记忆。当然，也希望对他人有用。
引言：何为纠删码
数据的爆炸式增长使得存储系统的规模不断增加，存储设备的可靠性却一直没有得到显著提高（SSD 从SLC 到MLC 和TLC 可靠性不断下降，磁盘随着单位面积写入数据更多导致可靠性无法提升），从而给数据的持...
分类：
编程语言 时间：
2014-12-13 21:53:17
阅读次数：
413
目录[-]引言：何为纠删码纠删码中运算的基础域———有限域七牛的存储方案 个人浏览网页的时候，有打标签的习惯。最近整理以往的标签的时候，发现积累了一些有关七牛公司存储策略的网页，遂决定整理一篇文章处理，以备记忆。当然，也希望对他人有用。 因为七牛公司的存储策略主要基于纠删码(Erasure Co.....
分类：
编程语言 时间：
2014-12-13 21:45:44
阅读次数：
231
