NameNode堆内存估算 在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对Na ...
分类：
其他好文 时间：
2019-09-08 20:22:09
阅读次数：
81
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 我们在master机器上执行hdfs fsck就可以看到这个命令的用法。 查看文件目录的健康信息 执行如下的命令： 其中有一个比较重要的信息，就是Corrupt blocks，表示损坏的 ...
分类：
其他好文 时间：
2019-09-08 20:19:47
阅读次数：
111
1、使用DBV检查数据文件，在cmd执行：dbv file='E:\APP\ADMINISTRATOR\ORADATA\ORCL\USERS01.DBF' blocksize=8192；然后等待检测结果2、检查损坏相关的表： 查到相关的表名3、内部事件，设置在全表扫描时跳过损坏的数据块：ALTER ...
分类：
数据库 时间：
2019-09-06 14:31:14
阅读次数：
142
Merkle Tree（默克尔树），通常也被称作Hash Tree。顾名思义，就是存储hash值的一棵树。 Merkle树的叶子是数据块的hash值(数据块：文件或者文件的集合)。非叶节点是其对应子节点串联字符串的hash。 1、Hash Hash是一个把任意长度的数据映射成固定长度数据的函数。 例 ...
分类：
其他好文 时间：
2019-09-02 14:21:14
阅读次数：
92
数据库逻辑结构单元 0：数据库逻辑结构包括表空间，段，区，数据块 1、数据库在逻辑上是由多个表间组成的，表空间中存储的对象是段； 2、段，由区组成，比如数据段，索引段，和undo段； 3、区，是磁盘分配的最小单位，是物理上连续的块，一个extent的大小是1M，由64个页组成； 4、块(页)，在My ...
分类：
数据库 时间：
2019-08-29 13:58:40
阅读次数：
118
您有三个互斥选项，具体取决于您选择如何管理加密密钥： 使用具有 Amazon S3 托管密钥的服务器端加密 (SSE-S3) – 使用唯一密钥加密每个对象。作为额外的保护，它将使用定期轮换的主密钥对密钥本身进行加密。Amazon S3 服务器端加密使用可用的最强数据块密码之一（即 256 位高级加密 ...
分类：
其他好文 时间：
2019-08-28 11:26:29
阅读次数：
95
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小 ...
分类：
其他好文 时间：
2019-08-25 12:00:12
阅读次数：
120
RAID6磁盘阵列介绍1、RAID6磁盘阵列由N(N>=4)块盘组成阵列,存储容量为N块磁盘容量总和的（N-2)/N。2、RAID6技术是在RAID5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID5等级。与RAID5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错
分类：
其他好文 时间：
2019-08-24 11:33:16
阅读次数：
701
数据库： B树就是 B-树 B&B+都用到了磁盘块的概念，每块大概4k，利用了磁盘的预读和同一数据块内很有可能一起用到 Redis端口6379 事务四大特性（ACID）原子性（不可再分 要么都发生 要么不发生）、一致性、隔离性、持久性 数据库隔离级别：读取未提交数据=脏读,可以读取其他事务提交的数据 ...
分类：
其他好文 时间：
2019-08-23 00:14:38
阅读次数：
113
RAID 6技术是在RAID 5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，RAID 6每个数据块有两个校验保护屏障（一个分层校验，一个是总体校验），因此RAID 6的数据冗余性能相当好。即使同时损失两块磁盘也不会影响数据使用，但是由于增加了一个校验，所以写入的效率较RAID 5还差，而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。
分类：
其他好文 时间：
2019-08-22 23:36:30
阅读次数：
142
