rsync的重要功能速度：第一次，rsync复制源目录和目标目录之间的整个内容。下一次，rsync仅将更改的块或字节传输到目标位置，这使传输真正快速。安全性：rsync允许在传输过程中使用ssh协议对数据进行加密。较少带宽：rsync分别在发送和接收端使用数据块的压缩和解压缩。因此，r..
分类：
其他好文 时间：
2017-08-26 04:49:02
阅读次数：
265
一、索引 简介 Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。 为什么要创建索引？ Hive的索引目的是提高Hive表指定列的 ...
分类：
其他好文 时间：
2017-08-24 21:17:38
阅读次数：
243
Linux文件系统第一篇—从Ext2到Ext3再到Ext4 1 概述 Linux文件系统第一篇—从Ext2到Ext3再到Ext4 1 概述 Linux继承了UNIX一切皆文件的设计哲学，用文件和树形目录的抽象逻辑概念代替了硬盘和光盘等物理设备使用数据块的概念，用户使用文件系统来保存数据时不必关心数据 ...
分类：
其他好文 时间：
2017-08-22 10:49:03
阅读次数：
215
1.cp和inode当文件不存在时，分配一个新的inode号，创建新文件；当文件存在时，则inode号采用被覆盖之前的目标文件的inode号2.rm和inode链接数递减，减少链接数量，如果链接数为0释放inode（inode号码可以被重新使用）；如果inode被释放，则数据块放到可用空间列表中，删除目录..
分类：
系统相关 时间：
2017-08-21 00:12:49
阅读次数：
205
copy deepcopy讲的是复制源对象的改变对copy出来的对象的影响： 我们寻常意义的复制就是深复制，即将被复制对象完全再复制一遍作为独立的新个体单独存在。 所以改变原有被复制对象不会对已经复制出来的新对象产生影响。 而浅复制并不会产生一个独立的对象单独存在，他只是将原有的数据块打上一个新标签 ...
分类：
其他好文 时间：
2017-08-20 21:08:50
阅读次数：
125
在Hadoop1.x版本的时候，Namenode存在着单点失效的问题。如果namenode失效了，那么所有的基于HDFS的客户端——包括MapReduce作业均无法读，写或列文件，因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode中恢复的步骤繁多，系统恢复时 ...
分类：
其他好文 时间：
2017-08-20 15:48:14
阅读次数：
143
mysql的innoDB索引设置时需要考虑的三个点 1、单行访问是很慢的。单行访问，需要做随机的磁盘I/O，机械磁盘包括SSD的随机I/O效率都是很低的。服务器从磁盘文件读取数据是以块（block）为单位来加载的，为了读取具体的某条数据，需要加载该数据所在的整个数据块，所以为了提高效率尽可能一次读取 ...
分类：
数据库 时间：
2017-08-19 12:52:59
阅读次数：
518
一、回收站简介： 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。 可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。 二、实例： Hadoop的回收站trash功能默认是关闭的 ...
分类：
其他好文 时间：
2017-08-16 20:33:29
阅读次数：
241
1.什么是数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。 hadoop提供两种校验： 1.校验和（常见循环冗余校验CRC-32) 2.运行后台进程来检测数据块 2.基本的基于文件的数据结构 在处理小文件的时候，为了避免多次打开关闭流耗费计算资源，hdfs提供了两种类型的容器Seq ...
分类：
其他好文 时间：
2017-08-14 00:32:54
阅读次数：
206
ORA-01578是数据块物理坏块/损坏的一种，不同于逻辑损坏/坏块，一般会伴随ORA-1110出现，一旦ORACLE读取到存在损坏的块就会报出Causedby:java.sql.SQLException:ORA-01578:ORACLE数据块损坏(文件号4,块号840339)ORA-01110:数据文件4:‘E:\APP\ADMINISTRATOR\ORADATA\ORCL\USERS0..
分类：
数据库 时间：
2017-08-12 10:28:22
阅读次数：
227
