个人浏览网页的时候,有打标签的习惯。最近整理以往的标签的时候,发现积累了一些有关七牛公司存储方案的网页,遂决定整理一篇文章处理,以备记忆。当然,也希望对他人有用。
引言:何为纠删码
数据的爆炸式增长使得存储系统的规模不断增加,存储设备的可靠性却一直没有得到显著提高(SSD 从SLC 到MLC 和TLC 可靠性不断下降,磁盘随着单位面积写入数据更多导致可靠性无法提升),从而给数据的持...
分类:
编程语言 时间:
2014-12-13 21:53:17
阅读次数:
413
最近买了一个256GB的SSD固态硬盘,想测试一下写入速度,于是如下操作。部分代码: 1 gettimeofday(&start, NULL); 2 int fd = open("test1.dat", O_RDWR|O_CREAT); 3 if (fd < 0){ 4 ...
分类:
系统相关 时间:
2014-12-12 10:05:00
阅读次数:
363
SAD(Sum of Absolute Difference)=SAE(Sum of Absolute Error)即绝对误差和SATD(Sum of Absolute Transformed Difference)即hadamard变换后再绝对值求和SSD(Sum of Squared Diffe...
分类:
其他好文 时间:
2014-12-12 00:00:44
阅读次数:
846
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持
我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!
特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hado...
分类:
Web程序 时间:
2014-12-08 12:28:20
阅读次数:
224
1,FlashCache简介Flashcache本身是Facebook的一个开源项目,(准确的说是一个Linux的模块),可以动态加载。Flashcache通过在文件系统(VFS)和设备驱动之间新增了一次缓存层,来实现对热门的缓存。Flashcache是另一种缓存,一般用SSD作为介质的缓存(一般的缓存用的是内存)..
分类:
其他好文 时间:
2014-12-01 16:22:27
阅读次数:
212
传统存储市场由于经过多年竞争,市场格局早已走向稳定,而在以全闪存阵列为代表的新兴存储细分领域中,则呈现出一派繁荣景象,参与市场竞争者之多、创新产品之丰富远超传统存储市常就连市场份额第一的宝座也在最近几年中多次易主,ViolinMemory、IBM等公司轮番坐庄,并没有出现..
分类:
其他好文 时间:
2014-11-30 00:54:53
阅读次数:
308
我把mac系统装在128G的ssd固态硬盘上,结果发现我的用户名下的文件夹有20多G不明文件,又显示不出来,想节约一些ssd上的空间,想把这些可能有用可能没用的文件转移到我250G的机械硬盘上。通过shift+command+G 进入【前往文件夹】 输入[~/Library/Application ...
分类:
系统相关 时间:
2014-11-28 20:07:39
阅读次数:
345
转载请注明出处:
源地址:http://storm.apache.org/documentation/Concepts.html
本文介绍了storm的主要概念,并且给出相关链接供你查看更多信息。本文讨论的概念如下所示:
1、Topologies
2、Streams
3、Spouts
4、Bolts
5、Stream Grouping
6、Reliability
7、Tas...
分类:
其他好文 时间:
2014-11-27 16:27:12
阅读次数:
229
技巧一、尽量减少磁盘访问
内存访问要比磁盘访问快得多。所以使用优化的本质就是尽可能地减少对磁盘的访问。
内存的读取速度要比磁盘速度快一百万倍。读磁盘要消耗很长时间。几种简单的办法:
使用SSD(固态硬盘);增加内存可以减少对硬盘的读取,让常用的文档在内存中;
技巧二、使用索引减少内存占用
索引是有序的,所以不必遍历全部项。当查询时候会先根据索引查到索引中的结果,然后符合条件的文...
分类:
数据库 时间:
2014-11-27 01:38:30
阅读次数:
272