1、处理高并发 1.1高并发处理方案： 缓存 缓存的目的是提升系统访问速度和增大系统处理容量 降级 降级是当服务出现问题或者影响到核心流程时，需要暂时屏蔽掉，待高峰或者问题解决后再打开 限流 限流的目的是通过对并发访问/请求进行限速，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可 ...
分类：
其他好文 时间：
2019-07-17 15:28:47
阅读次数：
289
上篇文章讲到DAGScheduler会把job划分为多个Stage，每个Stage中都会创建一批Task，然后把Task封装为TaskSet提交到TaskScheduler。这里我们来一起看下TaskScheduler是如何把Task分配到应用程序的Executor上去执行。重点是这里的task分配... ...
分类：
其他好文 时间：
2019-07-14 13:29:28
阅读次数：
135
java多线程之Executor 与 ExecutorService两个基本接口 ...
分类：
编程语言 时间：
2019-07-13 15:03:19
阅读次数：
128
java多线程之Executor框架线程池详细介绍与ThreadPoolExecutor ...
分类：
编程语言 时间：
2019-07-13 13:21:32
阅读次数：
130
Executor（update、query、flushstatement、commit、rollback、getTransaction） ParameterHandler(getParameterObject、setParameter、close、isclosed) ResultSetHandler ...
分类：
其他好文 时间：
2019-07-10 16:41:07
阅读次数：
117
类名不同，但公有方法的名字和提供的基本功能大致相同，但两个类没有共同继承的祖先或者抽象类 接口来规定他，叫鸭子类。 使并发核心池能够在 threadpoolexetor和geventpoolexecutor自由选一种切换。 实现方式。 对于收尾任务，threadpoolexecutor和这个还有少量 ...
分类：
其他好文 时间：
2019-07-09 00:19:52
阅读次数：
99
2.4 Action 行动算子：触发运算，在 Executor 执行，如果想直接在 Driver 端看到结果可以使用 collect 和 foreach 都可以将数据拉取到 Driver 端。 2.4.1 reduce(func) 案例 1. 作用：通过 func 函数聚集 RDD 中的所有元素，先 ...
分类：
其他好文 时间：
2019-07-07 09:41:36
阅读次数：
127
2.5 RDD 中的函数传递 在实际开发中我们往往需要自己定义一些对于 RDD 的操作，那么此时需要主要的 是，初始化工作是在 Driver 端进行的，而实际运行程序是在 Executor 端进行的，这就涉及 到了跨进程通信，是需要序列化的。下面我们看几个例子： 2.6 RDD 依赖关系 2.6.1 ...
分类：
其他好文 时间：
2019-07-07 09:25:51
阅读次数：
129
运行： spark-submit --py-files p.url-0.1.0a4-py2.7.egg,future-0.17.1-py2.7.egg main_dep.py ...
分类：
其他好文 时间：
2019-07-03 11:54:44
阅读次数：
94
