函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。? 1，动手实战Scala高阶函数 声明一个List集合实例： ? List集合所在的包已经被预定义自动导入，所以此处不需要导入包，同时，...
分类：
其他好文 时间：
2014-12-02 00:25:44
阅读次数：
173
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。1，动手实战Scala高阶函数声明一个List集合实例：List集合所在的包已经被预定义自动导入，所以此处不需要导入包，同时，这里直接使用List实例化对象，其实是用来List的object对象的apply方法；我们使用m...
分类：
其他好文 时间：
2014-12-02 00:01:29
阅读次数：
270
Spark版本：1.1.1本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4135808.html目录Web UI事件日志网络安全（配置端口）仅适用于Standalone模式的端口适用于所有集群管理器的通用端口 ...
分类：
Web程序 时间：
2014-12-01 20:42:53
阅读次数：
470
akka 并发编程框架
kafka 高吞吐量分布式消息系统
akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Actor模型并非什么新鲜事物，它由Carl Hewitt于上世纪70年代早期提出，目的是为了解决分布式编程中一系列的编程问题。其特点如下：
...
分类：
其他好文 时间：
2014-12-01 17:37:20
阅读次数：
343
本文以Spark1.1.0版本为基础。 经过前一段时间的学习，基本上能够对Spark的工作流程有一个了解，但是具体的细节还是需要阅读源码，而且后续的科研过程中也肯定要修改源码的，所以最近开始Spark的源码的学习。首先以重要文件为基础分别分析，然后再整体的分析。（一）DAGScheduler....
分类：
其他好文 时间：
2014-12-01 14:16:48
阅读次数：
164
1. Spark Shell测试Spark Shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这一工具。Spark Shell使得用户可以和Spark集群进行交互，提交查询，这便于调试，也便于初学者使用Spark。测试案例...
分类：
其他好文 时间：
2014-12-01 12:50:02
阅读次数：
1631
Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n...
分类：
其他好文 时间：
2014-12-01 12:48:27
阅读次数：
304
本文主要关注ShuffledRDD的Shuffle Read是如何从其他的node上读取数据的。
上文讲到了获取如何获取的策略都在org.apache.spark.storage.BlockFetcherIterator.BasicBlockFetcherIterator#splitLocalRemoteBlocks中。可以见注释。...
分类：
其他好文 时间：
2014-11-30 18:47:14
阅读次数：
138
RDD详解RDD（Resilient Distributed Datasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。当然，RDD肯定不会这么简单，它的功能还包括容...
分类：
其他好文 时间：
2014-11-29 15:54:31
阅读次数：
252
5，动手实战Scala中的apply方法和单例对象? 新建一个类： 额外提一点，放在object对象中的方法都是静态方法，如下所示： 接下来看一下apply方法的使用： 上面代码总当我们使用“val?a?=?ApplyTest()”的使用会...
分类：
其他好文 时间：
2014-11-28 23:00:53
阅读次数：
400
