1、HDFS(分布式文件系统体系) 1.1、NameNode:(名称节点) ????????Hdfs的守护程序 ????????记录文件是如何分割成数据块的,以及这些数据块被存储到了哪些节点上 ????????对内存和I/O...
分类:
其他好文 时间:
2015-09-16 23:46:51
阅读次数:
575
HDFS中数据管理与容错1.数据块的放置 每个数据块3个副本,就像上面的数据库A一样,这是因为数据在传输过程中任何一个节点都有可能出现故障(没有办法,廉价机器就是这样的),为了保证数据不能丢失,所以存在3个副本,这样保证了硬件上的容错,保证数据传递过程中准确性。 3个副本数据,放在两...
分类:
其他好文 时间:
2015-09-16 19:51:07
阅读次数:
222
为什么需要索引(Why is it needed)?当数据保存在磁盘类存储介质上时,它是作为数据块存放。这些数据块是被当作一个整体来访问的,这样可以保证操作的原子性。硬盘数据块存储结构类似于链表,都包含数据部分,以及一个指向下一个节点(或数据块)的指针,不需要连续存储。记录集只能在某个关键字段上进行...
分类:
数据库 时间:
2015-09-15 01:37:15
阅读次数:
147
wandering tree问题是log-structured 文件系统(LFS) 特有的一个问题,因为LFS的脏数据是追加更新的,所以如果一个数据块变脏了,那么那个数据块的直接索引块、间接索引块都会变脏(因为索引的地址变脏)。F2FS是如何解决这个问题呢?我们知道F2FS中main area中共有...
分类:
其他好文 时间:
2015-09-14 23:53:51
阅读次数:
348
原文地址:http://blog.sina.com.cn/s/blog_6ceed3280100x0om.html1.物理读(physical read)当数据块第一次读取到,就会缓存到buffer cache 中,而第二次读取和修改该数据块时就在内存buffer cache 了 以下是例子:1.1...
分类:
数据库 时间:
2015-09-13 21:21:14
阅读次数:
191
磁盘配额介绍quota软件设置的磁盘配额功能,只在指定的文件系统(分区)有效,磁盘配额的限制对象为系统中指定的用户账号、组账号进行限制。磁盘配额的限制类型分为:磁盘容量:限制用户能够使用的磁盘数据块大小,也就是限制磁盘空间的大小,默认单位为KB。文件数量:限制用户..
分类:
系统相关 时间:
2015-09-12 20:28:17
阅读次数:
295
本文向各位阐述Oracle的Latch机制,Latch,用金山词霸翻译是门插栓,闭锁,专业术语叫锁存器,我开始接触时就不大明白为什么不写Lock,不都是锁吗?只是翻译不同而以?研究过后才知道两者有很大的区别。 Oracle中锁的信息是数据块的一部分,是物理的,并不是逻辑上属于某个表或者某个行。La....
分类:
数据库 时间:
2015-09-12 10:48:18
阅读次数:
300
循环冗余校验, 抄书循环冗余校验, 抄书在每个数据块 (称之为帧) 中加入一个 FCS (Frame CheckSequence,帧检查序列), 用于发送/接收装置比较帧的正确与否循环冗余检验: CRC (cycli redundancy check)M 表示传输的数据k 表示传输的数据的长度n 位...
分类:
其他好文 时间:
2015-09-12 06:16:14
阅读次数:
152
反射1 请解释反射的基本原理和其实现的基石2 .NET提供了哪些类型来实现反射3 如何实现动态地发射程序集4 如何利用反射来实现工厂模式反射1 请解释反射的基本原理和其实现的基石反射是一种动态分析程序集、模块、类型、字段等目标对象的机制,它的实现依托于元数据。元数据是存储在PE文件中的数据块,它详细...
分类:
Web程序 时间:
2015-09-12 00:46:24
阅读次数:
261
首先,来一些假设:1、假设数据总大小为len。2、假设使用线程个数THREADSUM = 3;3、blockSize:单个线程下载的数据块大小; startIndex:单个线程下载的起始位置; endIndex:单个线程下载的终止位置---------------------------------...
分类:
编程语言 时间:
2015-09-10 19:17:47
阅读次数:
164