1 睡眠模式RX代码流程 ar_wal_rx_patch.c::patch_rx_process_recv_status//调用rx_ctxt->data_ind_handler -> ar_wal_rx_common_patch.c::patch_rx_install_data_ind -> 2 ...
分类：
移动开发 时间：
2016-07-08 19:30:49
阅读次数：
126
本篇博文的目标是
1. Executor的WAL机制详解
2. 消息重放Kafka数据安全性的考虑：
Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。
Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark Streaming生成Job的时候里面是基...
分类：
其他好文 时间：
2016-05-27 12:19:58
阅读次数：
233
本期内容 : Executor的WAL 消息重放 数据安全的角度来考虑整个Spark Streaming ： 1、 Spark Streaming会不断次序的接收数据并不断的产生Job ，不断的提交Job到集群运行，至关重要的问题接收数据安全性 2、 由于Spark Streaming是基于Spar ...
分类：
其他好文 时间：
2016-05-24 20:38:23
阅读次数：
175
本期内容：1、Executor的WAL容错机制2、消息重放Executor的安全容错主要是数据的安全容错，那为什么不考虑数据计算的安全容错呢？原因是计算的时候SparkStreaming是借助于SparkCore上RDD的安全容错的，所以天然的安全可靠的。Executor的安全容错主要有：1、数据副本：有两种方..
分类：
其他好文 时间：
2016-05-23 19:25:31
阅读次数：
207
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后，会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式：WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/
defpushA..
分类：
其他好文 时间：
2016-05-23 01:17:31
阅读次数：
208
本期内容：ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面：1.Receiver接收数据的元数据2.Driver管理的各组件信息（调度和驱动层面）元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=>
if(WriteAheadLogUtils.isBatching..
分类：
其他好文 时间：
2016-05-23 01:16:02
阅读次数：
251
PostgreSQL相关的软件，库，工具和资源集合。 备份 wal-e - Simple Continuous Archiving for Postgres to S3, Azure, or Swift by Heroku Barman - Backup and Recovery Manager f ...
分类：
数据库 时间：
2016-05-14 22:54:03
阅读次数：
598
postgres 主备切换 主备查看 方法 ps -ef | grep wal (主库 sender)postgres 27873 27864 0 5月06 ? 00:00:10 postgres: wal sender process postgres 10.2.0.13(47582) strea ...
分类：
数据库 时间：
2016-05-13 18:39:37
阅读次数：
234
