本期内容 : Spark Streaming中的架构设计和运行机制 Spark Streaming深度思考 Spark Streaming的本质就是在RDD基础之上加上Time ，由Time不断的运行触发周而复始的接收数据及产生Job处理数据。 一、 ReceiverTracker ： Receiv ...
分类：
其他好文 时间：
2016-06-07 06:36:50
阅读次数：
270
本期内容
本讲讲解sparkStreaming的driver部分的数据的接受和管理的部分，即receiverTracker，包括：
1.receiverTracker的架构设计
2.消息循环系统
3.receiverTracker的具体实现。...
分类：
其他好文 时间：
2016-05-30 15:32:58
阅读次数：
290
上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker：本文将详细解析ReceiverTracker的的架构设计和具体实现一、ReceiverTracker的主要功能 ReceiverTracker的主要功能有： ... ...
分类：
其他好文 时间：
2016-05-28 13:04:02
阅读次数：
162
本期内容 : ReceiverTracker的架构设计 消息循环系统 ReceiverTracker具体实现 一、 ReceiverTracker的架构设计 1、 ReceiverTracker可以以Driver中的具体自己的算法来在具体的Execute中启动Receiver，启动Receiver的 ...
分类：
其他好文 时间：
2016-05-24 20:32:14
阅读次数：
215
本篇博文的目标是：
Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计
1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Receiver....
分类：
其他好文 时间：
2016-05-24 10:27:41
阅读次数：
308
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后，会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式：WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/
defpushA..
分类：
其他好文 时间：
2016-05-23 01:17:31
阅读次数：
208
本期内容：1、ReceiverTracker的架构设计2、消息循环系统3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracker主要的功能：在Executor上..
分类：
其他好文 时间：
2016-05-23 01:03:11
阅读次数：
161
本节的主要内容： 一、ReceiverTracker的架构设计 二、消息循环系统 三、ReceiverTracker具体实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？看源码Rec ...
分类：
其他好文 时间：
2016-05-22 20:02:22
阅读次数：
346
本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 ...
分类：
其他好文 时间：
2016-05-21 20:29:14
阅读次数：
146
本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 ...
分类：
其他好文 时间：
2016-05-21 20:29:04
阅读次数：
168
