在Spark中定义了通信框架的接口，这些接口中调用了Netty的具体方法（在spark2.x前，使用的是Akka）。各接口和实现类的关系如下图所示。 将终端（EndPoint）注册到Rpc环境中： 在各个模块中，如DriverEndPoint、ClientEndPoint、Master、Worker ...
分类：
其他好文 时间：
2019-08-13 13:33:56
阅读次数：
122
AKKA HTTP 简单示例 依赖包： 代码示例： 启动后访问地址 http://127.0.0.1:8888/hello 返回Say hello to akka-http ...
分类：
Web程序 时间：
2019-07-16 12:35:46
阅读次数：
127
上期讨论过OAuth2, 是一种身份认证+资源授权使用模式。通过身份认证后发放授权凭证。用户凭授权凭证调用资源。这个凭证就是一种令牌，基本上是一段没什么意义的加密文，或者理解成密钥也可以。服务方通过这个令牌来获取用户身份信息，也就是说服务端必须维护一个已经获得身份验证的用户信息清单。研究了一下JWT ...
分类：
Web程序 时间：
2019-07-09 13:25:11
阅读次数：
143
使用gRPC作为云平台和移动前端的连接方式，网络安全应该是必须考虑的一个重点。gRPC是支持ssl/tls安全通讯机制的。用了一个周末来研究具体使用方法，实际上是一个周末的挖坑填坑过程。把这次经历记录下来与各位分享。 gRPC的ssl/tls的原理是在服务端安装安全证书公用certificate和私 ...
分类：
其他好文 时间：
2019-06-17 14:14:11
阅读次数：
122
akka 中采用startProxy分区代理 访问 ，跟使用shardRegion 来访问的区别 ...
分类：
其他好文 时间：
2019-06-11 19:22:09
阅读次数：
184
Akka Cluster Sharding DeepLearningZ 关注 0.1 2018.03.22 10:57* 字数 7911 阅读 449评论 1喜欢 2 DeepLearningZ 关注 0.1 2018.03.22 10:57* 字数 7911 阅读 449评论 1喜欢 2 0.1 ...
分类：
其他好文 时间：
2019-06-11 13:12:55
阅读次数：
105
一，Akka简介 二，Akka中的Actor模型 三，Akka实战案例之HelloActor 四，Akka实战案例之PingPong 五，案例基于 Actor 的聊天模型 正文 一，Akka简介 写并发程序很难。程序员不得不处理线程、锁和竞态条件等等，这个过程很容易出错，而且会导致程序代码难以阅读、 ...
分类：
其他好文 时间：
2019-06-02 01:21:43
阅读次数：
142
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间 ...
分类：
其他好文 时间：
2019-05-02 21:48:37
阅读次数：
152
前面我们全面介绍了在akka-cluster环境下实现的CQRS写端write-side。简单来说就是把发生事件描述作为对象严格按发生时间顺序写入数据库。这些事件对象一般是按照二进制binary方式如blob存入数据库的。cassandra-plugin的表结构如下： 事件对象是存放在event里的 ...
分类：
其他好文 时间：
2019-04-27 19:47:37
阅读次数：
111
AKKA NOTES - 介绍演员 任何在过去做过多线程的人都不会否认管理多线程应用程序有多么困难和痛苦。我说管理因为它开始很简单，一旦你开始看到性能改进，它变得非常有趣。但是，当您发现没有更简单的方法从子任务中的错误中恢复或者您发现难以重现的僵尸错误或者当您的探查器显示您的线程花费大量时间阻塞时， ...
分类：
其他好文 时间：
2019-04-23 21:23:26
阅读次数：
279
