Spark算子的作用下图描述了Spark在运行转换中通过算子对RDD进行转换。 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为Spark中的数据块，通过BlockManager进行...
分类：
其他好文 时间：
2015-07-12 00:21:09
阅读次数：
151
目录：1.理解iNode2.理解硬链接和软连接1.理解iNode我们知道 linux中一个文件具有很多属性，uid,gid，文件大小，访问权限，文件内容block位置等。这些内容是和文件中的实际内容分开放的。文件的属性是放在叫做 i节点的结构中 ，而文件内容则放在数据块中。这个 inode(i节点)...
分类：
系统相关 时间：
2015-07-11 20:07:50
阅读次数：
275
HDFS是用户空间文件系统，不像ext3文件系统需要挂载，只用应用程序显式地编译它即可集群中的各个主机只存储文件系统的一个数据子集，当需要存储更多数据块时，只需要添加更多挂载了多个物理磁盘的主机即可实现。文件系统的元数据存储在中央服务器中，提供数据块的目录结构，并..
分类：
其他好文 时间：
2015-07-10 16:57:28
阅读次数：
137
数据读取流程：客户端访问NameNode，告知需要读取的文件客户身份确认通过信任的客户端。由其指定用户名通过诸如kerberos等强制认证机制完成检查文件的所有者及其设定的访问权限，如果文件确实存在，而且用户对这个有访问权限。NameNode告知客户端文件的第一个数据块的标号以及..
分类：
其他好文 时间：
2015-07-10 16:56:35
阅读次数：
218
本文中将介绍一个具体的linux标准文件系统ext2的磁盘上文件组织方式和数据块寻址（逻辑地址到物理地址映射）
两个问题：
1.一个文件如何组织，采用何种结构；
2.文件的读写实现，如何从逻辑空间找到磁盘上的物理块；
1.文件的组织方式（微观角度，以下讨论的都是单个文件是如何被组织的）：
具体文件系统管理的是一个逻辑空间，这个逻辑空间就象一个大的数组，数组的每个元素就是文件系统操...
分类：
系统相关 时间：
2015-07-04 09:44:32
阅读次数：
1843
好的数据结构，对于检索数据，插入数据的效率就会非常高。常见的数据结构B+树根节点和枝节点很简单，分别记录每个叶子节点的最小值，并用一个指针指向叶子节点。
叶子节点里每个键值都指向真正的数据块，每个叶子节点都有前指针和后指针，这是为了做范围查询时，叶子节点间可以直接跳转，从而避免再去回溯至枝和根节点。
特点：
1、有n棵子树的结点中含有n个关键字，每个关键字不保存数据，只用来索引，所有数据都保存...
分类：
其他好文 时间：
2015-07-04 09:40:12
阅读次数：
237
/根目录/boot 系统启动相关的文件，如内核、initrd，以及grub（bootloader）/dev 设备文件块设备：随机访问,数据块字符设备：线性访问。/etc 系统全局配置文件/home 普通用户的家目录,每一个普通用户的家目录通常默认为/home/USERNAME/root 管理员用户的家目录/lib 库文件：静..
分类：
系统相关 时间：
2015-07-04 01:10:13
阅读次数：
153
每个表只能有一个聚簇索引，而能有200多个非聚簇索引。在物理分配上，每个表的数据都是分配在页上，一个页大概有8k左右，假设一条数据占1000字节的话，那么8000条数据占8000*1k/8k = 1000页面，这些数据存在于数据块中。如果对这些数据中的某一10字节的字段做聚簇索引的话，8000 * ...
分类：
其他好文 时间：
2015-07-03 20:34:39
阅读次数：
116
报文流· HTTP 报文是在HTTP 应用程序之间发送的数据块。这些数据块以一些文本形式的元信息（meta-information）开头，这些信息描述了报文的内容及含义，后面跟着可选的数据部分。这些报文在客户端、服务器和代理之间流动。· HTTP 使用术语流入（inbound）和流出（outboun...
分类：
Web程序 时间：
2015-07-03 15:27:39
阅读次数：
262
消息队列是在两个进程之间传递二进制块数据的一种简单有效的方式。每个数据块都有一个特定的类型，接收方可以根据类型来有选择的接收数据，而不一定像管道和匿名管道那样必须以先进先出的方式接收数据。
Linux消息队列的4个API包括四个系统调用：msgget、msgsnd、msgcrv和msgctl
#include
int msgget( key_t key, int msgf...
分类：
系统相关 时间：
2015-07-01 10:16:13
阅读次数：
2500
