Spark Streaming 源码详解

标签：

原地址

本系列内容适用范围：

* 2015.12.05 update, Spark 1.6 全系列 √ (1.6.0-preview，尚未正式发布)
* 2015.11.09 update, Spark 1.5 全系列 √ (1.5.0, 1.5.1, 1.5.2)
* 2015.07.15 update, Spark 1.4 全系列 √ (1.4.0, 1.4.1)
* 2015.04.17 update, Spark 1.3 全系列 √ (1.3.0, 1.3.1)

• 概述
  • 0.1 Spark Streaming 实现思路与模块概述
• 模块 1：DAG 静态定义
  • 1.1 DStream, DStreamGraph 详解
  • 1.2 DStream 生成 RDD 实例详解
• 模块 2：Job 动态生成
  • 2.1 JobScheduler, Job, JobSet 详解
  • 2.2 JobGenerator 详解
• 模块 3：数据产生与导入
  • 3.1 Receiver 分发详解
  • 3.2 Receiver, ReceiverSupervisor, BlockGenerator, ReceivedBlockHandler 详解
  • 3.3 ReceiverTraker, ReceivedBlockTracker 详解
• 模块 4：长时容错
  • 预计 12.13 4.1 Executor 端长时容错详解
  • 预计 12.13 4.2 Driver 端长时容错详解
• StreamingContext
  • 预计 12.20 5.1 StreamingContext 详解

Spark Streaming 源码详解

标签：

原文地址：http://www.cnblogs.com/shexinwei/p/5042515.html