Functional ObjectAdvantages and Disadvantages of Immutable ObjectAdv 1. 不可变对象更具容易被推断出来，因为它不会随着时间的变化而造成值的变化。Adv 2. 不可变对象可以自动地传递不会发生变化，而传递可变对象的话，需要首先对可变...
分类：
其他好文 时间：
2014-06-27 13:55:22
阅读次数：
187
Class and Objectclass TestClass { val some = 1}生成的class文件中会包含一个some()方法，并且这个方法是public的，也就是说类外可以通过类的对象来获取这个some的值修改：class TestClass { private val som.....
分类：
其他好文 时间：
2014-06-26 22:31:24
阅读次数：
270
Basic Types and OperationsSomething new according to Java1 ＋ 2跟(1).+(2)是一样的。val str = "Hello world"str indexOf 'o' 跟 str.indexOf('o')是一样的indexOf有两种形式的...
分类：
其他好文 时间：
2014-06-26 19:26:48
阅读次数：
193
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
Chapter1 and Chapter2方法定义：def methodName(param1: ParamType, param2: ParamType2, [maybe more]): ReturnType = { // method body}函数式编程中一个约定俗成的说法就是，方法会返回一....
分类：
其他好文 时间：
2014-06-25 19:15:35
阅读次数：
205
Learn to programming in funtional way如果一个方法中存在var的话，那么这个方法很可能就是指令式编程。如果一个方法中只存在val的话，那么这个方法很可能是函数式编程。我们需要尝试着把方法中的val删除掉。副作用，一个方法满足函数式编程的基本要求，但是返回值是一个U...
分类：
其他好文 时间：
2014-06-25 18:31:47
阅读次数：
166
以后spark，mapreduce，mpi可能三者集于同一平台，各自的侧重点有所不用，相当于云计算与高性能计算的集合，互补，把spark的基础看了看，现在把开发环境看看，主要是看源码，最近Apache Spark源码走读系列挺好的，看了些。具体环境配置不是太复杂，具体可以看https://githu...
分类：
其他好文 时间：
2014-06-25 11:44:47
阅读次数：
185
团队已经决定逐步由java转向scala。现在的项目已经使用了几种编程语言。Java为主，ruby做代码生成器，python做安装脚本和命令行工具。其实从ruby和python的使用经验中，已经或多或少地接触到了FP的概念。Scala旗帜鲜明地在Java上增加了FP的功能，观念的冲突和复杂的语法让其...
分类：
其他好文 时间：
2014-06-25 11:36:19
阅读次数：
323
这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，let you know！我们先回顾一下这个图，Driver Program是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。下面讲一讲它所不为认知的一面...
分类：
其他好文 时间：
2014-06-25 11:13:39
阅读次数：
288
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是...
分类：
其他好文 时间：
2014-06-25 07:59:09
阅读次数：
183
