HDFS数据块所在存储的目录满了的解决方法 1.增加磁盘空间 2.删除回收站 hadoop dfs -du -h 查看各个HDFS空间占用情况 hadoop dfs -expunge 清空回收站 hadoop dfs -rm -skipTrash /user/path 删除目录跳过回收站 fs.tr ...
分类：
其他好文 时间：
2017-11-08 19:42:29
阅读次数：
147
设备和内核管理一.设备管理概述1．Linux设备的分类字符设备（c）：以字符为单位，传输速率较低，无需缓冲区。块设备(b)：以数据块为单位组织和传输数据,需要建立缓冲区网络设备（s）：一种通过SOCKET接口进行主机通信的设备2．设备文件（1）功能用于用户访问设备进行输入和输出..
分类：
系统相关 时间：
2017-11-07 10:21:47
阅读次数：
258
1.文件缓存和打开文件 文件缓存的种类：磁盘控制器扇区缓存 内存里面数据块缓存/内存虚拟盘/打开文件表 操作系统讨论的缓存：内存中数据块的缓存 数据块缓存按需读入内存 * 提供read操作、预先读取后面的数据块 * 数据块被使用后被缓存--后面可能用到，写操作可能延迟 数据块缓存的两种方式：数据块缓 ...
分类：
其他好文 时间：
2017-10-28 19:51:00
阅读次数：
165
02-03根文件详解Windows：PELinux:ELF文件系统：Rootfa:根文件系统HFS:Linux/boot；系统启动相关文件。如内核、initrd、以及grub(bootloader引导加法器)/dev；设备文件设备文件：背景黑色文字黄色无大小块设备：随机访问，按照数据块访问字符设备：线性访问，按字符为单位设备..
分类：
其他好文 时间：
2017-10-26 22:44:11
阅读次数：
104
1、RAID0放弃冗余追求性能，可以是一块或者多块盘进行组合，组合之后容量没有损失，变成一个大的盘，且读写性能是所有RAID级别中最好的，缺点是没有冗余功能，也没有计算校验码，数据块分布在不同的磁盘上，如果其中有一块盘坏了，所有数据都会丢失并且没有办法恢复（即使其它..
分类：
其他好文 时间：
2017-10-25 23:30:53
阅读次数：
134
表空间数据文件最大值与DB_BLOCK_SIZE有关，在初始建库时，DB_BLOCK_SIZE要根据实际需要，设置为 4K,8K、16K、32K、64K等几种大小，ORACLE的物理文件最大只允许4194304个数据块（由操作系统决定），表空间数据文件的最大值为 4194304×DB_BLOCK_S ...
分类：
其他好文 时间：
2017-10-25 16:45:52
阅读次数：
141
mysq，oracle的索引组织表是按主键顺序存储数据的（页内）。 如果数据插入顺序和主键不一致，页间无法保证物理上的顺序存储。移动数据块的代价很大。可以通过工具重新顺序化存储结构。 mysql新增数据块时，会留一定的空间给未来新增的数据用，另外当数据块的充满程度达到一定比例时，不会再允许新增数据 ...
分类：
数据库 时间：
2017-10-24 19:28:01
阅读次数：
340
前言 前面以前把关于HDFS集群的所有知识给讲解完了，接下来给大家分享的是MapReduce这个Hadoop的并行计算框架。 一、背景 1）爆炸性增长的Web规模数据量 2）超大的计算量/计算复杂度 3）并行计算大趋所势 二、大数据的并行计算 1）一个大数据若可以分为具有同样计算过程的数据块，并且这 ...
分类：
其他好文 时间：
2017-10-23 21:44:17
阅读次数：
143
转://http://blog.chinaunix.net/uid-23177306-id-2531235.html 一、direct path read1、与直接读取相关联的等待事件。当ORACLE将数据块直接读入会话的PGA（进程全局区）中，同时绕过SGA（系统全局区）。PGA中的数据并不和其他 ...
分类：
数据库 时间：
2017-10-20 18:31:03
阅读次数：
223
前言 前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。 在Hadoop中为什么要去使用压缩（Compression）呢？接下来我们就知道了。 一、压缩（Compression）概述 1.1、压缩的好处 减少 ...
分类：
其他好文 时间：
2017-10-20 14:09:47
阅读次数：
245
