spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
一、环境及软件安装环境：安装目录： /usr/local/ae/ankabanHadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1azkaban-executor-2.5.0安装目录：/usr/local/ae/azkaban/azkab...
分类：
其他好文 时间：
2014-07-16 19:08:09
阅读次数：
2894
在JavaSE5中，JUC(java.util.concurrent)包出现了在java.util.concurrent包及其子包中，有了很多好玩的新东西：1、执行器的概念和线程池的实现。Executor、ExecutorService框架 从Executor接口开始，到ExecutorServi....
分类：
编程语言 时间：
2014-07-06 18:38:33
阅读次数：
224
Spark Application可以在集群中并行运行，其关键是抽象出RDD的概念（详见RDD
细解），也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。
1：Spark应用程序的结构
Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序
...
分类：
其他好文 时间：
2014-06-22 21:48:06
阅读次数：
311
在之前的博文里有说过executor框架，其实Fork/Join就是继承executor的升级版啦executor用于创建一个线程池，但是需要手动的添加任务，如果需要将大型任务分治，显然比较麻烦而Fork/Join则是解决这个问题的计算框架用户定义部分：如何分治 （compute(1 , 10)）定...
分类：
编程语言 时间：
2014-06-18 18:30:52
阅读次数：
224
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
http://www.cnblogs.com/rockman12352/p/3788688.html上一篇对于整体框架讲了很多东西，但是具体在使用时有一些细节并没有说出来首先是执行任务execute(); 执行任务，返回空，相当于 new Thread(task).start();submit();...
分类：
编程语言 时间：
2014-06-15 13:05:16
阅读次数：
267
【译者：这个系列教程是以Kitware公司出版的《VTK User’s Guide -11th edition》一书作的中文翻译（出版时间2010年，ISBN: 978-1-930934-23-8），由于时间关系，我们不能保证每周都能更新本书内容，但尽量做到一周更新一篇到两篇内容。敬请期待^_^。欢迎转载，另请转载时注明本文出处，谢谢合作！同时，由于译者水平有限，出错之处在所难免，欢迎指出订正！】...
分类：
其他好文 时间：
2014-06-10 18:46:10
阅读次数：
202
题目：有n种硬币，面值分别为V1,V2,...Vn,每种都有无限多。给定非负整数S，可以选用多少个硬币，使得面值之和恰好为S？输出硬币数目的最小值和最大值！
分析：我们把每种面值看作一个点！表示“还需要凑足的面值”，初始状态为S，目标状态为0。那么若当前状态在i，每使用一个硬币j，状态便转移到i-Vj。
代码：
记忆化搜索：
#include
#include
using n...
分类：
其他好文 时间：
2014-06-10 18:45:32
阅读次数：
315
python监控linux性能以及进程消耗的性能...
分类：
编程语言 时间：
2014-06-10 18:44:54
阅读次数：
371
