学习了基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验，应用actor模型,位置透明,做到高并发、可伸缩、容错、单机也可以用，水平扩展、垂直扩展、容错都有很好的表现，spark中的例子如下：private def initializeEventProcessActor(){ im...
分类：
其他好文 时间：
2015-08-20 10:18:50
阅读次数：
563
课程内容
Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲）
Spark修炼之道（进阶篇）——Spark入门到精通（30讲）
Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）
Spark修炼之道（高级篇）——Spark源码解析（50讲）
部分内容会在实际编写时动态调整，或补充、或删除。Spark修炼之道（基础篇）——Linux大数据开发基础（15讲...
分类：
其他好文 时间：
2015-08-19 20:25:26
阅读次数：
720
AKKa 版的httpServer官方文档：http://akka.io/docs/?_ga=1.258204936.386978128.1439703494在maven中添加下面依赖： com.typesafe.akka akka...
分类：
Web程序 时间：
2015-08-16 18:02:31
阅读次数：
1333
Akka.NET 是Java/Scala 流行框架Akka的一个 .NET 开源移植。可用于构建高并发，分布式和容错事件驱动的应用在 .NET 和 Mono 平台之上。Akka.NET 经过一年多的努力，发布 1.0 正式版，最新版本是1.0.4 ，具体参见 https://github.com/a...
分类：
Web程序 时间：
2015-08-16 08:15:07
阅读次数：
152
Spark源码阅读笔记之Broadcast：Spark会序列化在各个任务上使用到的变量，然后传递到Executor中，由于Executor中得到的只是变量的拷贝，因此对变量的改变只在该Executor有效。序列化后的任务的大小是有限制的（由spark.akka.frameSize决定，值为其减去200K，默认为10M-200K），超出该限制的任务会被抛弃。因此，对于需要共享比较大的数据时，需要使用Broadcast。...
分类：
其他好文 时间：
2015-08-13 15:59:17
阅读次数：
600
scala自从2.10开始，则直接采用akka作为并发模型，本文作为akka的第一个入门实例。1.Akka入门实例package com.tv189.actorimport akka.actor.{Actor, ActorSystem, Props}/** * Created by molyeo o...
分类：
其他好文 时间：
2015-08-07 13:02:31
阅读次数：
125
Spark使用Akka作为各种功能和组件之间的通信工具。同样，在资源调度过程中也使用其作为消息传递系统。之前，在分析了Apache Spark-1.0.0资源调度过程中，明确了主要消息的传递过程和引起的相关动作，本文主要分析Spark资源调度过程中所用到的Akka通信的初始化过程。（I）Job相关（...
分类：
Web程序 时间：
2015-07-30 18:56:06
阅读次数：
520
scala spark Actor 多线程 大数据，DT_Spark
分类：
编程语言 时间：
2015-07-24 23:56:13
阅读次数：
242
cluster sharding 的目的在于提供一个框架，方便实现 DDD，虽然我至今也没搞明白 DDD 到底适用于是什么场合，但是 cluster sharding 却是我目前在做的一个 project 扩展到集群上非常需要的工具。sharding 要做这么几件事1. 对于每一个 entity，创...
分类：
其他好文 时间：
2015-07-02 15:25:54
阅读次数：
180
cluster 配置akka { actor { provider = "akka.cluster.ClusterActorRefProvider" } remote { log-remote-lifecycle-events = off enabled-transports...
分类：
其他好文 时间：
2015-07-02 11:43:45
阅读次数：
190
