（一）storm拓扑的并行度可以从以下4个维度进行设置：
1、node（服务器）：指一个storm集群中的supervisor服务器数量。
2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。
3、executor（线程）：指某个spout或者bolt的总线程数量，这些线程会被随机平均的分配到各个worker。
4、task（spo...
分类：
其他好文 时间：
2015-06-17 11:25:53
阅读次数：
157
本文主要记录我使用Spark以来遇到的一些典型问题及其解决办法，希望对遇到同样问题的同学们有所帮助。
1. Spark环境或配置相关
Q: Spark客户端配置文件spark-defaults.conf中，spark.executor.memory和spark.cores.max应该如何合理配置？
A: 配置前，需要对spark集群中每个节点机器的core和memory的配置有基本了解。比如...
分类：
其他好文 时间：
2015-06-10 12:21:16
阅读次数：
189
默认情况下下，一个executor运行一个component，即一个task，但有时会指定多个task：1builder.setBolt("",newXxBolt()).setNumTasks(2);这是为了rebalance命令。
分类：
其他好文 时间：
2015-06-07 23:04:07
阅读次数：
222
先看一个Executor接口，该接口只有一个方法：voidexecute(Runnablecommand)，用于在未来某个时刻提交一个command，这个command可以被提交到一个新的线程，或者一个线程池，或者在调用线程中。ExecutorService接口继承了Executor接口。主要是增加...
分类：
其他好文 时间：
2015-06-06 22:08:11
阅读次数：
110
一、前言1.5后引入的Executor框架的最大优点是把任务的提交和执行解耦。要执行任务的人只需把Task描述清楚，然后提交即可。这个Task是怎么被执行的，被谁执行的，什么时候执行的，提交的人就不用关心了。具体点讲，提交一个Callable对象给ExecutorService（如最常用的线程池Th...
分类：
编程语言 时间：
2015-06-05 12:07:27
阅读次数：
118
上一篇文章中通过引入的一个例子介绍了在Executor框架下，提交一个任务的过程，这个过程就像我们老大的老大要找个老大来执行一个任务那样简单。并通过剖析ExecutorService的一种经典实现ThreadPoolExecutor来分析接收任务的主要逻辑，发现ThreadPoolExecutor的...
分类：
编程语言 时间：
2015-06-05 11:38:22
阅读次数：
127
1、java.util.concurrent Class Executurspublic class Executors extends Object其中提供了返回类型为Executor、ExecutorService、ScheduledExecutorService、ThreadFactory和....
分类：
编程语言 时间：
2015-05-27 13:45:31
阅读次数：
170
Nimbus: 负责资源分配和任务调度，把任务相关的元信息写入Zookeeper相应目录中。
Supervlsor: 负责接收Nimbus分配的任务，启动和停止属于自己管理的worker进程。
Worker: 运行具体处理组件逻辑的线程。
Executor: 运行Splout/bolt的线程。
Task： worker中每一个spout/bolt的线程称为一个task.
Topolo...
分类：
其他好文 时间：
2015-05-22 11:32:02
阅读次数：
184
身为码农，干活时会经常用到各种工具，为了提高搬砖效率，我一直用Executor作快速启动工具，想开什么程序直接啪啪啪敲几下键盘，逼格十足，后来get到个新技能：建一个文件夹存放常用程序的快捷方式，然后把这个文件夹的路径加到PATH系统环境变量中，就可以用直接用“Win + R”打开常用程序了。缺点是...
Akka MessageDispatcher是维持Akka Actor “运作”的部分, 可以说它是整个机器的引擎。
在没有为 Actor作配置的情况下，一个 ActorSystem 将有一个缺省的派发器。 缺省派发器是可配置的，缺省情况下是一个使用“fork-join-executor”的 Dispatcher ， 在大多数情况下拥有非常好的性能。
1.为 Actor 指定派发器
在app...
分类：
其他好文 时间：
2015-05-20 18:29:17
阅读次数：
162
