今天学习了Infix type的知识，来看看实战代码： def main(args:Array[String]){ object log { def >>:(data:String):log.type = {println(data);log}} "Hadoop" >>: "spark" >>: l...
分类：
其他好文 时间：
2015-09-11 22:04:30
阅读次数：
200
网站计数器packagecom.parllay.scala.bestpractiveobject:>{defunapply[A](list:List[A])={Some((list.init,list.last))}}objectExtractor_Advanced{defmain(args:Array[String]){(1to9).toListmatch{case_:>9=>println("Hadoop")}(1to9).toListmatch{casex:>8:>..
分类：
其他好文 时间：
2015-09-11 12:53:34
阅读次数：
203
packagecom.dt.scala.listobjectListBuffer_Internals{defmain(args:Array[String]){vallist=List(1,2,3,4,5,6,7,8,9)increment(list)increment_MoreEffective(list)increment_MostEffective(list)}defincrement(list:List[Int]):List[Int]=listmatch{caseList()=>List()cas..
分类：
其他好文 时间：
2015-09-11 12:50:23
阅读次数：
161
/** * Created by root on 9/7/15. */import org.apache.spark.SparkContextimport org.apache.spark.SparkConfobject RDDTest { def main(args: Array[String]....
分类：
其他好文 时间：
2015-09-09 16:22:16
阅读次数：
186
JavaScript对象有几种：内置对象如Global，Math对象等等。本地对象如Object、Function、Array、String、Boolean、Number、Date、RegExp、Error、EvalError、RangeError、ReferenceError、SyntaxErro...
分类：
Web程序 时间：
2015-09-02 18:48:52
阅读次数：
185
package com.leegh.parameterization/** * @author Guohui Li */object Type_Contraints { def main(args: Array[String]): Unit = { def rocky[T](i: T)(im...
分类：
其他好文 时间：
2015-09-01 09:11:19
阅读次数：
136
前面提到过spark自带的一个最简单的例子，也介绍了SparkContext的部分，这节介绍剩余的内容中的transformation。
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new Spa...
分类：
其他好文 时间：
2015-08-27 21:16:35
阅读次数：
187
首先看一个spark自带的最简单的例子：
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new SparkContext(conf)
val slices = if (args.length >...
分类：
其他好文 时间：
2015-08-26 22:43:23
阅读次数：
337
源码位置：org.apache.spark.deploy.worker.Worker.scala
首先查看worker的main方法，与master类似，创建sparkConf，参数解析，以及构造worker对象并创建ActorRef用于对外或者本身的信息交互。这里masters参数可以设置多个
def main(argStrings: Array[String]) {
Sig...
分类：
其他好文 时间：
2015-08-25 21:54:18
阅读次数：
539
package com.leegh.dataset/** * @author Guohui Li */object List_Interal { def main(args: Array[String]): Unit = { val list = List(1, 2, 3, 4, 5) ...
分类：
其他好文 时间：
2015-08-25 16:09:50
阅读次数：
143
