Hadoop1.x和Hadoop2.0构成图对比Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS....
分类：
其他好文 时间：
2014-08-02 15:24:53
阅读次数：
403
大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
经过前面文章的SparkContext、DAGScheduler、TaskScheduler分析，再从总体上了解Spark Job的调度流程1、SparkContext将job的RDD DAG图提交给DAGScheduler；2、DAGScheduler将job分解成Stage DAG，将每个Sta...
分类：
其他好文 时间：
2014-08-02 04:07:42
阅读次数：
1266
项目起源是因为有人希望有个模拟环境来模拟公平调度器和容量调度器，以便合理配置调度器，降低生产环境出问题的风险，详见https://issues.apache.org/jira/browse/YARN-1021。之后在hadoop2.3.0就增加了这个工具。首先设定环境变量：exportHADOOP_HOME=/usr/hadoop-2.3.0export..
分类：
其他好文 时间：
2014-08-01 20:10:42
阅读次数：
284
本文试图详细地描述openstack创建虚拟机的完整过程，从用户发起请求到虚拟机成功运行，包括客户端请求的发出、keystone身份验证、nova-api接收请求、nova-scheduler调度、nova-computer创建、nova-network分配网络。对于每一个模块在创建虚拟机的过程中所负责的功能和执行的操作，进行较为详细描述和讨论。...
分类：
其他好文 时间：
2014-08-01 19:56:32
阅读次数：
490
自旋锁是SMP中经常使用到的一个锁。所谓的smp，就是对称多处理器的意思。在工业用的pcb板上面，特别是服务器上面，一个pcb板有多个cpu是 很正常的事情。这些cpu相互之间是独立运行的，每一个cpu均有自己的调度队列。然而，这些cpu在内存空间上是共享的。举个例子说，假设有一个数据 value....
分类：
编程语言 时间：
2014-08-01 19:13:52
阅读次数：
246
保证在某一时刻只有一个线程对数据进行操作的基本方法：（1）关中断：通过关闭时钟中断来停止线程调度（不现实）（2）数学互斥方法：Peterson算法 bakery算法（3）操作系统提供的互斥方法：临界区、互斥量、信号量等(windows)（4）cpu原子操作:把一些常用的指令设计成了原子指令，在win...
分类：
编程语言 时间：
2014-08-01 19:00:42
阅读次数：
266
1、GCD
使用不同优先级的若干个队列乍听起来非常直接，不过，我们强烈建议，在绝大多数情况下使用默认的优先级队列就可以了。如果执行的任务需要访问一些共享的资源，那么在不同优先级的队列中调度这些任务很快就会造成不可预期的行为。这样可能会引起程序的完全挂起，因为低优先级的任务阻塞了高优先级任务，使它不能被执行。
2、Run Loops
实际上，Ru...
分类：
其他好文 时间：
2014-08-01 16:06:21
阅读次数：
152
Quartz是一个强大的企业级任务调度框架，Spring中继承并简化了Quartz，下面就看看在Spring中怎样配置Quartz：首先我们来写一个被调度的类：packagecom.kay.quartz;publicclassQuartzJob{publicvoidwork(){System.out...
分类：
编程语言 时间：
2014-08-01 15:19:21
阅读次数：
209
线程有时候可以被称为微进程或轻量级进程，它的概念和进程十分相似，是一个可以被调度的单元，并且维护自己的堆栈和上下文环境，线程是附属进程的，一个进程可以包含1个或者多个线程，并且同一进程内的多个线程共享一块内存快和资源，一个线程是一个操作系统可调度的基本单元，但同时它的调度受限于包含该线程的进程，.....
分类：
编程语言 时间：
2014-08-01 10:31:01
阅读次数：
202
