下面为技术列表pythonscalaawsopenstackdockerLXClibcloudmesosec2s3dynamodbsqsmongodbcassandrazookeeperkafkamemcachestatsDpython：用于写非常多脚本工具scala：写非常多服务应用，相比java...
分类：
其他好文 时间：
2014-10-20 13:08:19
阅读次数：
144
// 类接口，但是可以实现方法// 作用 多重继承trait traitA{ val tnum: Int def log(msg: String): Unit ={ println("log : " + msg) }}trait traitB extends traitA{ def t...
分类：
其他好文 时间：
2014-10-19 22:45:29
阅读次数：
233
1、错误描述
TypeError: Error #1034: 强制转换类型失败:无法将 mx.controls::DataGrid@9aa90a1 转换为 spark.core.IViewport。
at mx.binding::Binding/defaultDestFunc()[E:\dev\4.0.0\frameworks\projects\framework\src\mx\binding...
分类：
其他好文 时间：
2014-10-19 18:41:58
阅读次数：
266
在上文《Spark技术内幕：Stage划分及提交源码分析》中，我们分析了Stage的生成和提交。但是Stage的提交，只是DAGScheduler完成了对DAG的划分，生成了一个计算拓扑，即需要按照顺序计算的Stage，Stage中包含了可以以partition为单位并行计算的Task。我们并没有分析Stage中得Task是如何生成并且最终提交到Executor中去的。
这就是本文的主题。...
分类：
其他好文 时间：
2014-10-19 18:38:46
阅读次数：
299
1.什么是MLBaseMLBase是Spark生态圈的一部分，专注于机器学习，包含三个组件：MLlib、MLI、ML Optimizer。ML Optimizer: This layer aims to automating the task of ML pipeline construction....
分类：
编程语言 时间：
2014-10-19 18:30:41
阅读次数：
336
在一个RDD触发了一个action（比如count，collect）时，任务是如何被提交到？什么是Stage？DAGScheduler的作用是什么?它是如何划分Stage的？本文将基于源码，进行深入分析。...
分类：
其他好文 时间：
2014-10-19 00:08:01
阅读次数：
308
花了两个小时左右，学习了一下scala语言， 由于scala运行在jvm之上， 可以使用java容器也可以使用scala自带的容器.import java.utilimport java.util.{HashMap => JavaHashMap}import scala.collection.mut...
分类：
其他好文 时间：
2014-10-18 23:48:59
阅读次数：
235
在scala中如果一个函数在最后一步调用自己（必须完全调用自己，不能加其他额外运算子），那么在scala中会复用函数栈，这样递归调用就转化成了线性的调用，效率大大的提高。If a function calls itself as its last action, the function's sta...
分类：
其他好文 时间：
2014-10-18 20:59:44
阅读次数：
188
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂
【第17期互动问答分享】Q1：为了加快sparkshuffle的执行速度是否可以把spark_local_dirs指向一块固态硬盘上面，这样做是否有效果。可以把spark_local_dirs指向一块固态硬盘上面,这样会非常有效的提升Spark执行速度；同..
分类：
其他好文 时间：
2014-10-17 19:00:33
阅读次数：
178
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第17期互动问答分享】 ? Q1：为了加快spark?shuffle?的执行速度是否可以把spark_local_dirs?指向一块固态硬盘上面，这样做是否有效果。 可以把...
分类：
其他好文 时间：
2014-10-17 17:02:15
阅读次数：
154
