1 闭包 var a = 3 var addfun = (x:Int) => x + a var b = addfun(10) println(b) addfun 就是个和对象无关的函数，局部变量，使用方法和函数一样，但是好像不推荐这种写法。2 类的创建，简单使用a...
分类：
其他好文 时间：
2014-10-22 21:50:02
阅读次数：
211
本文记录我对Scala语言Traits的一些理解。...
分类：
其他好文 时间：
2014-10-22 20:23:38
阅读次数：
283
valstr="aaaaaababbc"
valmiddData=List(("a",1),("a",12),("b",3),("c",1),("b",1))
/*
*wordcount
*/
str.split("").groupBy(x=>x).map(x=>x._1->x._2.size)
/*
result:scala.collection.immutable.Map[String,Int]=Map(a->2,b->1,c->1,aa->1,bb->1..
分类：
其他好文 时间：
2014-10-22 18:34:45
阅读次数：
248
<?xml?version="1.0"?encoding="UTF-8"?>
<project?xmlns="http://maven.apache.org/POM/4.0.0"
?????????xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
?????????xsi:schemaLoc...
分类：
编程语言 时间：
2014-10-22 16:11:02
阅读次数：
153
前面两章花了不少篇幅介绍了SparkSQL的运行过程，很多读者还是觉得其中的概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan是长得什么样子，没点印象，只知道名词，感觉很缥缈。本章就着重介绍一个工具hive/console，来加深读者对sparkSQL的运行计划的理解。
1：hive/console安装
spa...
分类：
数据库 时间：
2014-10-22 10:11:17
阅读次数：
430
It is very easy to install a Spark cluster (Standalone mode). In my example, I used three machines. All machines run a OS of ubuntu 12.04 32bit. One m...
分类：
其他好文 时间：
2014-10-21 17:20:33
阅读次数：
192
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息： 从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！ 第三步：启动yarn集群 使用jps命令...
分类：
其他好文 时间：
2014-10-21 10:32:36
阅读次数：
169
从控制台我们可以看见有两个DataNode，此时我们点击“LiveNodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWo..
分类：
其他好文 时间：
2014-10-21 10:27:47
阅读次数：
163
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa...
分类：
其他好文 时间：
2014-10-21 10:24:25
阅读次数：
230
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了Res...
分类：
其他好文 时间：
2014-10-21 10:16:02
阅读次数：
221
