最近一直在准备构建一个rpc服务,为避免重复造轮子,在择取的过程中发现了很多优秀的rpc架构。 1:common-rpc:http://my.oschina.net/liubingsmile/blog/387154 已经足够成熟。 2:基于akka的rpc http://my...
分类:
其他好文 时间:
2015-09-25 04:14:55
阅读次数:
247
角色 角色模型对编写并发、分布式系统进行了高度抽象。它减轻了开发者必须对互斥锁与线程管理的负担,更容易编写出正确的并发与并行系统。早在1973 年 Carl Hewitt 发表的论文中定义了角色,但一直流行于Erlang ...
分类:
编程语言 时间:
2015-09-23 17:22:54
阅读次数:
433
1、测试目标:证实Akka确保Actor的每个实例都运行在自己的轻量级线程里,并拥有自己的队列,保证先进先出的处理每一条消息。 2、akka中actor既是发射器又是接收器,发消息和收消息时必经过自己的onReceive方法。 ...
分类:
编程语言 时间:
2015-09-23 10:41:30
阅读次数:
368
Spark的Rpc模块是1.x重构出来可,以前的代码中大量使用了akka的类,为了把akka从项目的依赖中移除,所有添加了该模块。先看下该模块的几个主要的类使用EA把该模块所有的类都添加进来了要看懂该模块还是要先了解akka, akka有Actor和ActorRef两个类,一个用于接收消息,一个用于...
分类:
其他好文 时间:
2015-09-14 00:32:42
阅读次数:
254
打包成jar包的方式:File->Projectstructure->Artfact->点+->JAR->Frommoduleswithdependencies...->选择module->可指定Mainclass->点击OKDT大数据梦工厂微信公众账号:DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark,每天都会有大数据实战视频发布..
分类:
其他好文 时间:
2015-09-12 08:29:13
阅读次数:
266
akka提供了可伸缩的实时事务处理功能。akka基于actor,并提供了位置透明。1GB的heap可以有2500000个actor。水平扩展,垂直扩展,容错3个方面的解决方式。树形结构的actor,每个actor都有状态和行为。DT大数据梦工厂微信公众账号:DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark..
分类:
其他好文 时间:
2015-09-12 00:59:22
阅读次数:
253
mapreduce机制在actor模式下的设计结构
分类:
其他好文 时间:
2015-09-12 00:56:29
阅读次数:
1221
在intellijidea上搭建akka开发。使用idea的原因:没有必要花时间学配置;使用idea后会越使用越自然,越用越智能。在maven,sbt上支持更好。maven的一些功能介绍,maven还是用得比较多。范例wordcount代码的简单讲解。DT大数据梦工厂微信公众账号:DT_Spark。DT大数据梦工厂的微..
分类:
其他好文 时间:
2015-09-12 00:55:46
阅读次数:
300
对3个actor(MapActor、ReduceActor、AggregateActor)通讯的讲解。DT大数据梦工厂微信公众账号:DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark,每天都会有大数据实战视频发布,请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.ba..
分类:
其他好文 时间:
2015-09-12 00:54:57
阅读次数:
332
构建map,reduce之间通讯的消息实体类。了解wordcount原理。DT大数据梦工厂微信公众账号:DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark,每天都会有大数据实战视频发布,请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.co..
分类:
其他好文 时间:
2015-09-12 00:54:46
阅读次数:
268