当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用HadoopRPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前RM与NM在心跳的驱动下..
分类：
其他好文 时间：
2015-05-28 14:17:48
阅读次数：
119
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop
RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。
AD：
ha...
分类：
其他好文 时间：
2015-05-28 14:15:46
阅读次数：
169
master启动过程：
-->首先初始化HMaster
-->创建一个rpcServer，其中并启动
-->启动一个Listener线程，功能是监听client的请求，将请求放入nio请求队列，逻辑如下：
-->创建n个selector，和一个n个线程的readpool，n由"ipc.server.read.threadpool.size"决...
分类：
其他好文 时间：
2015-05-28 12:43:22
阅读次数：
168
我们在这文章将要学习Scala的最后一个特性是泛型。Java程序员们可能最近才知道这个东西，因为这个特性是在Java1.5中才被加入的。泛型是一种可以让你使用类型参数的设施。例如当一个程序员正在实现一个链表时，将不得不面对诸如如何决定链表中节点保存数据的类型之类的问题。正..
分类：
其他好文 时间：
2015-05-27 19:21:34
阅读次数：
164
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型（CPUintensive）的计算任务。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语stream、spout、bo..
分类：
其他好文 时间：
2015-05-27 19:21:16
阅读次数：
144
集合统计函数1.个数统计函数:count语法:count(*),count(expr),count(DISTINCTexpr[,expr_.])返回值:int说明:count(*)统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCTexpr[,expr_.])返回指定字段的不同的非空值的个数举例：hive&..
分类：
其他好文 时间：
2015-05-27 19:20:20
阅读次数：
252
1.1Sqoop内部结构本节介绍Sqoop的内部结构。Sqoop程序是由的主类com.cloudera.sqoop.Sqoop驱动。有限数量的额外的类在同一个包：SqoopOptions（如前所述），ConnFactory（即熟练操作ManagerFactory实例）。1.1.1一般程序流程一般的程序流程如下：com.cloudera.sqoop.Sqoop是主..
分类：
其他好文 时间：
2015-05-27 19:20:15
阅读次数：
157
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是<Key，Value>对，IFile以记录<key-len,value-len,key,value>的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和val..
分类：
其他好文 时间：
2015-05-27 19:19:48
阅读次数：
185
一、Redis提供了哪些持久化机制：1).RDB持久化：该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。2).AOF持久化:该机制将以日志的形式记录服务器所处理的每一个写操作，在Redis服务器启动之初会读取该文件来重新构建数据库，以保证启动后数据库中的数据是完整的。3)..
分类：
其他好文 时间：
2015-05-27 19:19:45
阅读次数：
157
Docker底层存储结构由于aufs并未并入内核，故而目前只有Ubuntu系统上能够使用aufs作为docker的存储引擎，而其他系统上使用lvmthinprovisioning（overlayfs是一个和aufs类似的unionfilesystem，未来有可能进入内核，但目前还没有；Lvmsnapshotareusefulfordoinge.g.backupofasna..
分类：
其他好文 时间：
2015-05-27 19:19:17
阅读次数：
208
