1，动手实战Scala中类的使用为方便后续代表的编写，我们创建一个新的代码工作区：创建一个Person类：其中的“_”是PlaceHolder，下面我们看一下如果使用该类：下面看一下private[this]的使用：所以使用private[this]定义后的内容就无法外部使用了，这起到了非常好的保护...
分类：
其他好文 时间：
2014-11-26 22:23:11
阅读次数：
144
WordCount.Scala代码如下：package com.husor.Spark/** * Created by huxiu on 2014/11/26. */import org.apache.spark.{SparkContext, SparkConf}import org.apache....
Map和Set中常用的一些方法。
var jetset = Set("one","two")
jetset += "three"
println(jetset.contains("four"))
println(jetset.contains("three"))
jetset.foreach(arg => println(arg))
print(jetset.size)
import scal...
分类：
其他好文 时间：
2014-11-26 11:26:57
阅读次数：
164
import scala.io.Source
if(args.length>0){
for(line <- Source.fromFile(args(0)).getLines)
println(line.length+" "+line)
}
else
Console.err.println("Please enter filename");...
分类：
其他好文 时间：
2014-11-26 11:24:54
阅读次数：
222
这两天在研究了hbase，hadoop，hive，spark由于spark.py不支持clust（jar才支持，但是太麻烦了>_<）所以最终决定使用hive在hive中用create external table后可以一同指定partition和location，这样就可以直接在hadoop的原始数...
分类：
其他好文 时间：
2014-11-26 01:17:25
阅读次数：
210
3，Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式： 接下来看一下while循环表达式： 下面看一下for条件表达式： 在for中也可以使用until： 如果想在条件表达式中筛选出1到10中所有偶数，可以采用下面...
分类：
其他好文 时间：
2014-11-25 23:56:48
阅读次数：
320
关于SQL和Hadoop的实现参考这里 MapReduce编程-自连接
这里用相同的原理，使用spark实现。本人也是刚学Scala，可能写的不好，还请指正。
object SelfUion {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("SelfUnion")
val sc ...
分类：
其他好文 时间：
2014-11-25 23:51:43
阅读次数：
303
元组可以把固定数量的条目组合在一起以便于作为整体传送。不像数组或列表，元组可以保存不同类型的对象。元组常用来返回方法的多个值。例如，下面的方法找到集合中的最长单词并返回它的索引：scala> def longestWord(words: Array[String]) = { | var wo...
分类：
其他好文 时间：
2014-11-25 23:03:27
阅读次数：
235
本文由cmd markdown编辑，原始链接：https://www.zybuluo.com/jewes/note/35032RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组 的区别是，RDD中的...
3，Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式： 接下来看一下while循环表达式： 下面看一下for条件表达式： 在for中也可以使用until： 如果想在条件表达式中筛选出1到10中所有偶数，可以采用下面的写法：
分类：
其他好文 时间：
2014-11-25 22:51:59
阅读次数：
122
