1.概述 Spark Streaming的主要应用方向是实时计算.这代表一个Spark Streaming应用必然是对执行性能和运行稳定性(7 x 24)有一定要求的 2.性能 在性能方面,主要是合理的利用的集群资源,设置正确的批处理大小(提升并行度)和减少每个批次的处理时间(计算逻辑优化).以让数 ...
分类：
其他好文 时间：
2018-07-15 16:13:54
阅读次数：
206
本节将展示线程池如何工作于大量的异步操作，以及它与创建大量单独的线程的方式有和不同。 代码Demo： using System;using System.Threading;using System.Diagnostics; 在Main方法下面加入以下代码片段： static void UseThr ...
分类：
编程语言 时间：
2018-07-05 21:24:25
阅读次数：
150
本文主要讲并行优化的几种方式, 其结构如下: 锁优化 减少锁的持有时间 例如避免给整个方法加锁 改进后 减小锁的粒度 将大对象，拆成小对象，大大增加并行度，降低锁竞争. 如此一来偏向锁，轻量级锁成功率提高. 一个简单的例子就是jdk内置的ConcurrentHashMap与SynchronizedM ...
分类：
编程语言 时间：
2018-06-25 10:57:03
阅读次数：
146
conf.setNumWorkers(2); // 该Topology运行在Supervisor节点的2个Worker进程中 topologyBuilder.setSpout("blue spout", new BlueSpout(), 2); // 设置并行度为2，则Task个数为2 1 topo ...
分类：
其他好文 时间：
2018-05-28 15:02:55
阅读次数：
171
原理介绍： 并行度：其实就是指的是，spark作业中，各个stage的task数量，也代表了spark作业做得各个阶段的stage的并行度 设置参数： spark.default.parallelism 官网推荐 此参数设置成cpu core数量的2~3倍，比如150个cpu core，分配了150 ...
分类：
其他好文 时间：
2018-05-14 13:16:43
阅读次数：
174
通过代码调整Storm的并行度，包括Worker、Executor和Task的数量；同时介绍并验证各种流式分组，最后还会有一个自定义流式分组的案例。
分类：
其他好文 时间：
2018-04-13 18:05:38
阅读次数：
163
原文地址： http://storm.apache.org/releases/1.2.1/Understanding-the-parallelism-of-a-Storm-topology.html 什么构成一个运行的拓扑：工作进程，执行器和任务 storm区分以下三个用于在Storm集群中实际运行 ...
分类：
其他好文 时间：
2018-03-09 10:43:12
阅读次数：
194
一、mapTask并行度的决定机制 1.概述 一个job的map阶段并行度由客户端在提交job时决定 而客户端对map阶段并行度的规划的基本逻辑为： 将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split，然后每一个split分配一个mapTask并行实例处理 这 ...
分类：
其他好文 时间：
2018-02-01 00:15:28
阅读次数：
168
今天发现有一个 oracle 物理DataGuard apply比较慢，根据官方dg 优化文档修改相关参数，下面的方法有一点效果，不过不大。1、修改并行度ALTER DATABASE RECOVER MANAGED STANDBY DATABASE PARALLEL 8 using current ...
分类：
移动开发 时间：
2018-01-17 00:05:50
阅读次数：
227
