2.1、读文件的过程 客户端(client)用FileSystem的open()函数打开文件 DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。 对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 DistributedFileSystem返回FSDa ...
分类：
其他好文 时间：
2016-05-11 12:52:50
阅读次数：
114
转自：http://bbs.ednchina.com/BLOG_ARTICLE_172025.HTM （3）容错操作 先来看一下容错的规则定义。 * 复位应答后，第一个数据块是由终端发往IC卡的，而且只能是一个I块或S块。 * 若终端不希望使用长度为32Byte的IFSD初始值，则应向IC卡发送一个 ...
分类：
其他好文 时间：
2016-05-10 02:01:33
阅读次数：
240
1、HDFS中NameNode的启动过程： 步骤1：namenode启动时，首先将fsimage（镜像）载入内存，并执行editlog日志的各项操作 步骤2：内存中建立起元数据映射，则创建一个新的fsimage和空的editlog 步骤3：等待datanode注册与发送数据块信息 2、HDFS中Na ...
分类：
其他好文 时间：
2016-05-08 10:16:48
阅读次数：
185
本文用于记录在LINUX编程中，常用的文件操作函数，包括系统调用和库函数。
针对输入输出操作，直接使用底层系统调用的一个问题是它们的效率十分低，原因在于：
1.
使用系统调用会影响系统的性能，与函数调用相比，系统调用的开销要大些，因为在执行系统调用时，Linux必须从运行用户代码切换到执行内核代码，然后再返回用户代码。
2.
硬件会限制对底层系统调用一次所能读写的数据块大小。比如，磁带...
分类：
系统相关 时间：
2016-05-06 16:07:53
阅读次数：
270
HDFS中的数据完整性HDFSZ在写入数据的时候会计算数据的校验和，针对每个由dfs.bytes.per.checksum指定字节的数据计算校验和，默认为512个字节
当客户端读取数据的时候，会对数据的校验和进行检查，如果发现数据出现损坏，则会执行以下步骤：
1.向Namenode报告其正在读取的数据块和所在的Datanode，之后会抛出ChecksumException异常
2.Nam...
分类：
其他好文 时间：
2016-05-06 15:51:22
阅读次数：
189
Oracle online redo log是Oracle数据库中核心文件之一。在数据库操作中，只要有任何的数据块变化，都会生成相应的redo entry。redo entry首先保存在log buffer中，最后由lgwr进程写入到Redo log里面。 Online Redo Log的维护和性能 ...
分类：
数据库 时间：
2016-05-04 13:23:06
阅读次数：
277
一.TCP连接
TCP
为 HTTP
提供了一条可靠的比特传输管道。从
TCP
连接一端填入的字节会从另一端以原有的顺序、正确地传送出来。
TCP
的数据是通过名为
IP
分组(或
IP
数据报)的小数据块来发送的。
HTTP就是“HTTP
over TCP over IP”这个“协议栈”中的最顶层了。其安全版本
...
分类：
Web程序 时间：
2016-05-03 18:26:49
阅读次数：
286
1、Linux文件空洞与稀疏文件 2、文件系统数据存储 3、文件系统调试 文件空洞 稀疏文件（Sparse File） Linux文件系统inode数据块存储 索引节点采用了多重索引结构，主要体现在直接指针和3个间接指针。直接指针包含12个直接指针块，它们直接指向包含文件数据的数据块，紧接在后面的3 ...
分类：
系统相关 时间：
2016-05-02 18:19:16
阅读次数：
297
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-29 19:46:23
阅读次数：
260
5.oracle的dump理解五 数据块理论
欢迎转载，转载请标明出处：
前两篇描述了我们在操作层面看到的一些东西，但是没有理论指导，看到越多我们只会越迷糊。所以，蛤蟆从官方文档上摘取一些老少皆宜的内容来补脑。
块是数据块IO的最小单位。
1 数据块和操作系统块
从物理层面，数据库的块存储时候是由操作系统块组成。操作系统块是操作系统可以读写的最小数据单位。O...
分类：
数据库 时间：
2016-04-29 19:44:48
阅读次数：
256
