一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting par.....
分类：
其他好文 时间：
2014-11-28 22:45:03
阅读次数：
285
5，动手实战Scala中的apply方法和单例对象 新建一个类：额外提一点，放在object对象中的方法都是静态方法，如下所示：接下来看一下apply方法的使用：上面代码总当我们使用“vala=ApplyTest()”的使用会导致apply方法的调用并返回该方法调用的值，也就是ApplyTest的实...
分类：
其他好文 时间：
2014-11-28 21:20:57
阅读次数：
242
3，动手实战Scala中的抽象类 ? 抽象类的定义需要使用abstract关键字： 上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理...
分类：
其他好文 时间：
2014-11-27 23:47:03
阅读次数：
428
3，动手实战Scala中的抽象类抽象类的定义需要使用abstract关键字：上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理了工程师写的代码；下面看一下抽象类中未被初始化的变量的使用：4，动手实战Sca...
分类：
其他好文 时间：
2014-11-27 23:25:46
阅读次数：
188
前言现今Spark正是风头正劲时，Spark本是UCBerkeley的AMPLab诞生的项目，后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理，到交互式查询，一直到图计算和机器学习，可谓摆开了架势、拉长了战线，一方面挑战老前辈Hadoop和MapReduce，另一方面又随时准备迎接同样的后起之秀的挑战。大数据的今天今天...
分类：
其他好文 时间：
2014-11-27 20:30:03
阅读次数：
251
UCBerkeley研发的Tachyon(超光子['tæki???n]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。如下图，它就处于这样一个层次：在现有存储系统如HDFS之上，在Spark，MapReduce，Impala等各种计算框架之下。为什么要有这么一个框架呢？MapReduce就不说了，但像Spark这种内存计算框架，为什...
分类：
其他好文 时间：
2014-11-27 20:29:10
阅读次数：
287
Spark累加器使用
使用spark累加器，解决视频平均播放数计算，以及视频播放数平方和平均值
val totalTimes=sc.accumulator(0l)
val totalVids=sc.accumulator(0)
val totalPow2Times=sc.accumulator(0d)
val timesFile=sc.textFile("/user/zheny...
分类：
其他好文 时间：
2014-11-27 18:24:55
阅读次数：
192
最近一个月在学习scala，今天刚对trait有点感觉，所以记下来..... trait在scala中被称作特质，在我个人理解，trait就相当于java中interface和abstract class的结合体，又可以混入多个trait,又可以在trait写具体的方法实现，通过with这个t...
分类：
其他好文 时间：
2014-11-27 15:57:16
阅读次数：
162
1、代码编写if (args.length != 3 ){ println("usage is org.test.WordCount ") return } val sc = new SparkContext(args(0), "WordCount", System.getenv("S...
分类：
系统相关 时间：
2014-11-27 12:38:19
阅读次数：
224
1， 动手实战Scala中类的使用 为方便后续代表的编写，我们创建一个新的代码工作区： 创建一个Person类： 其中的“_”是PlaceHolder，下面我们看一下如果使用该类： 下面看一下private[this]的使用： 所以使用pri...
分类：
其他好文 时间：
2014-11-26 22:49:59
阅读次数：
253
