定制spark让sql更简单，上个版本的start.scala用的是HiveContext，这个是SQLContext的，不需编译。...
分类：
数据库 时间：
2014-07-13 20:44:21
阅读次数：
330
通常，一个类对应一个伴生对象，其方法就跟Java中的静态方法一样，举例：BigInt类的BigInt伴生对象有一个生成指定位数的随机素数的方法probablePrime，在REPL中运行下列代码：
object HelloWorld{
def main(args:Array[String]){
for( i
println(BigInt.probab...
分类：
其他好文 时间：
2014-07-11 00:58:23
阅读次数：
286
Scala二十四点游戏(1):表达式计算(一)Scala二十四点游戏(2):表达式计算(二)Scala二十四点游戏(3):表达式计算(三)Scala二十四点游戏(4):算法之一Scala二十四点游戏(5):List简介Scala二十四点游戏(6):实现全排列Scala二十四点游戏(7):穷举可能的表达式Scala二十四点游戏(8): 计算24的算法Scala二十四点游戏(9): 完整的代码和计算结...
分类：
其他好文 时间：
2014-07-08 20:33:44
阅读次数：
218
近期开始学习swift，以后mac和ios开发就指望它，以前学oc半途而废了，主要原因是oc等语法实在能适应，现在有swift了，语法有js，scala，python，c＋＋，oc等语言的影子，重新开始学习吧！目标是今年彻底搞定ios和mac开发...
分类：
其他好文 时间：
2014-07-08 13:37:59
阅读次数：
176
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
scala中有9大基本类型:Byte 、Short 、Int 、Long、 Char 、String 、Float、 Double 、Boolean与java的基本类型看起来基本是一致的，但实际上除了String，其他的所有的类型，都是使用scala包下的成员。scala虽然是强类型的语言，但是通过...
分类：
其他好文 时间：
2014-07-06 15:08:30
阅读次数：
175
Scala是一门运行在jvm上的多范式语言，作为一个java程序员，使用Scala来写写程序，既不用担心会没有java强大的库支持，又能快速地写出简短强悍的代码，除此之外scala还为我们提供了强大的并发支持，Let's love it! 安装 下面来看看如何安装它（在此之前，确保已经安装好了...
分类：
其他好文 时间：
2014-07-05 20:44:21
阅读次数：
223
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
函数和闭包1 成员方法java中函数存在的方式，我们给一个类追加一个功能的途径就是给他追加一个方法。2 本地方法所谓的本地方法就是存在于一个方法内部的方法。如果一个类中有一个方法是private的，且只有一个方法使用到他，那么这个方法完全可以被定义为一个本地方法3 函数式一等公民方法分为：1 方法名...
分类：
其他好文 时间：
2014-07-02 21:29:31
阅读次数：
217
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
