上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
上一课我们讲解了Receiver启动的流程。Receiver是通过ReceiverSupervisor的start方法启动的：/**Startthesupervisor*/
defstart(){
onStart()
startReceiver()
}首先会调用ReceiverSupervisor的onStart()方法，overrideprotecteddefonStart(){
registeredBlockGenerators.forea..
分类：
其他好文 时间：
2016-05-17 19:49:00
阅读次数：
157
在SparkStreaming中对于ReceiverInputDStream来说，都是现实一个Receiver，用来接收数据。而Receiver可以有很多个，并且运行在不同的worker节点上。这些Receiver都是由ReceiverTracker来管理的。在ReceiverTracker的start方法中，会创建一个消息通信体ReceiverTrackerEndpoint..
分类：
其他好文 时间：
2016-05-16 17:52:24
阅读次数：
375
