Scala 运行于JVM之上，拥有海量类库和工具，兼顾函数式编程和面向对象。在Scala中， 解释器就是我们喜欢的REPL，变量或者函数的类型总是写在变量或函数的后面（与java相反），数值类型的转换通过方法而不是强制类型转换，仅当同一行代码存在多条语句时才需要用分号隔开。scala 允许自定义操作符，注意有分寸地使用，在使用scala.开头的包时，可以省去scala前缀。scala没有静态方法，...
分类：
其他好文 时间：
2014-12-27 11:25:53
阅读次数：
151
为什么选择Scala？
表达能力
函数是一等公民闭包
简洁
类型推断函数创建的文法支持
Java
可重用java库可重用java工具没有性能惩罚
Scala如何工作？
编译成Java字节码
可在任何标准JVM上运行
甚至是在一些不规范的JVM上，如Dalvik
Scala编译器是Java编译器的作者写的
...
分类：
其他好文 时间：
2014-12-26 18:42:19
阅读次数：
310
近期开始研究学习spark，开发环境有多种，由于习惯使用STS的maven项目，但是按照许多资料的方法尝试以后并没有成功，也可能是我环境问题；也可以是用scala中自带的eclipse，但是不太习惯，听说支持也不太好，好多问题；咨询一些人后说，IDEA对scala的支持比较好。所以尝试使用IDE.....
分类：
其他好文 时间：
2014-12-26 16:13:26
阅读次数：
196
简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
三，Spark的RDD在Spark中一切都是以RDD为基础和核心的：每个RDD的API如下所示：Spark官方文档中给出了的众多的RDD：RDD中的操作分为transformations和actions两种：下面举一个例子来说明RDD的使用：另外有两个特殊的RDD:他们都是controllingop...
分类：
其他好文 时间：
2014-12-26 14:25:08
阅读次数：
116
三，深入RDD RDD本身是一个抽象类，具有很多具体的实现子类：RDD都会基于Partition进行计算：默认的Partitioner如下所示：其中HashPartitioner的文档说明如下：另外一种常用的Partitioner是RangePartitioner：RDD在持久化的需要考虑内存策略：...
分类：
其他好文 时间：
2014-12-26 14:21:43
阅读次数：
183
一、以RDD为基石的Spark编程模型 在Spark中一切都是基于RDD的：什么是RDD呢？官方给出的解释是：也就是说每个RDD都至少有以下三个函数实现:Spark自带了非常多的RDD:RDD主要分为两种：其中的transformations是lazyexecution的，需要具体的action去触...
分类：
其他好文 时间：
2014-12-26 14:20:16
阅读次数：
177
一、到底什么是Spark？Spark是一个通用的大数据计算平台，基于“OneStacktorulethemall”的理念成功成为了一体化多元化的大数据处理平台，轻松应对大数据处理中的实时流计算、SQL交互式查询、机器学习和图计算等：Spark源于BDAS:基于该技术堆栈，Spark目前已经成为大数据...
分类：
其他好文 时间：
2014-12-26 14:16:41
阅读次数：
149
Lecture2.2CurringMotivation回顾sum(f,a,b)中如何使用不同的f来实现sum，铺垫匿名函数概念FuctionsreturningFunctions函数1可以是另外一个函数2的返回，这里面蕴含一个重要思想：在函数1的体内使用函数2时，函数2本身作为函数1的参数的这个效果在函数2的代码不再体现，即函数2..
分类：
其他好文 时间：
2014-12-26 06:18:35
阅读次数：
242
Scala 在米国已经发展的如火如荼，有些人甚至说Scala将成为未来语言的头号交椅。简洁的代码和表达式的写法让很多人倍感舒适，函数式和面向对象的编程范式也让其能在多种场合游刃有余的被使用。加之它是跑在JVM虚拟机上的，可以完美的调用java，让很多现存的技术可以继续保留，降低了维护成本。但是，S....
分类：
数据库 时间：
2014-12-26 00:49:27
阅读次数：
317
