三种状态：生命周期：代码表示：//三种状态publicvoidtestThreeState(){TUser user=newTUser();user.setName("spark"); //此时user处于Transienttry{Transaction tx=session.beginTransa...
分类：
Web程序 时间：
2014-11-02 22:11:59
阅读次数：
253
Scala语言的潜力不于与groovy，其语法可以说比python还要新，以至于有些人因此难以接受该语法。Scala是一门函数式、命令式的面向对象的基于JVM的编程语言，可以在控制台或者终端直接执行，语法相当简练、屈指。S...
分类：
其他好文 时间：
2014-11-01 12:03:59
阅读次数：
395
使用Spark有一段时间了，现在记录spark调优的一些经验。1.textFile的minparitition，只是设置最小的partition数目，下界（比如3），当数据量大的时候，改参数不起作用。可以尝试设置成10002. reduceByKey的并行度，也就是reduce的数目。 2.1 s....
分类：
其他好文 时间：
2014-10-31 23:30:55
阅读次数：
326
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第18期互动问答分享】 ? Q1：Master和Driver的是同一个东西吗？ 两者不是同一个东西，在Standalone模式下Master是用于集群资源管理和调度的，而D...
分类：
其他好文 时间：
2014-10-31 16:07:53
阅读次数：
226
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第18期互动问答分享】Q1：Master和Driver的是同一个东西吗？两者不是同一个东西，在Standalone模式下Master是用于集群资源管理和调度的，而Driver适用于指挥Worker上的Executor通过多线的方式处理任务的；Master位于..
分类：
其他好文 时间：
2014-10-31 15:58:01
阅读次数：
219
在Thinking in scala (5)----高阶函数* 里面，我们演示了如何把一个函数作为参数传递给另外一个函数。在本文里面，我们来演示函数式编程另外一个重要的特性：返回一个函数。首先来看这么一段代码：code piece 1：def sum(f:Int=>Int):(Int,Int)=>I...
分类：
其他好文 时间：
2014-10-31 11:40:31
阅读次数：
165
一.定长数组
如果需要一个长度不变的数组,可以使用Scala中的Array.
val nums = new Array[int](10)
val s = Array("Hello","world")
二.变长数组:数组缓冲
1.
val b = ArrayBuffer[int]()
2.追加元素
b +=(1,2,3,...
分类：
编程语言 时间：
2014-10-31 10:13:35
阅读次数：
238
文本讨论一下Scala语言基本类型的实现方式...
分类：
其他好文 时间：
2014-10-30 15:27:39
阅读次数：
225
一、进入IDE界面cd ~/Downloads/idea/binidea.sh二、建立scala项目Step 1：导入Spark-hadoop对应的包，次选择“File”–> “Project Structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入:...
分类：
系统相关 时间：
2014-10-29 23:29:50
阅读次数：
335
