Spark1.0.0
release于2014-05-30日正式公布,标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性,并提供了更好的API支持;Spark1.0.0添加了Spark
SQL这一个新的重要组件,用于载入和操作Spark的结构化数据;Spark1.0....
分类:
其他好文 时间:
2014-06-06 23:26:39
阅读次数:
295
How Scala killed the Strategy PatternBy Alvin
Alexander. Last updated: Mar 23, 2014table of contents[hide]The OOP Strategy
PatternTwo immediate though...
分类:
其他好文 时间:
2014-06-06 23:16:45
阅读次数:
480
有人说它相当于 C#,或是相当于 Scala 对 Java 的改进,我可以告诉大家,Swift
不是这样的语言。它更像一种让人快速做原型的 toy language。要求 Apple 发布下一代 Objective-C 语言的呼声早就有了,每年写数万字
OS X 评论的 Ars Technica 两...
分类:
移动开发 时间:
2014-06-06 22:42:04
阅读次数:
264
在新近发布的spark
1.0中新加了sql的模块,更为引人注意的是对hive中的hiveql也提供了良好的支持,作为一个源码分析控,了解一下spark是如何完成对hql的支持是一件非常有趣的事情。
分类:
其他好文 时间:
2014-06-06 08:40:02
阅读次数:
348
Spark1.0.0 release于2014-05-30日正式发布,标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性,并提供了更好的API支持;Spark1.0.0增加了Spark SQL这一个新的重要组件,用于加载和操作Spark的结构化数据;Spark1.0.0增强了现有的标准库(ML,streaming,GraphX??),同时还增强了Java和Python语言的...
分类:
其他好文 时间:
2014-06-02 15:11:10
阅读次数:
313
求和print(Array(1,7,2,9).sum)结果19要使用sum方法,元素类型必须是数值类型:要么是整形,要么是浮点数或者BigInteger/BigDecimal。print(ArrayBuffer("Mary","had","a","little","lamb").max)结果little排序valb=ArrayBuffer(1,7,2,9)
valbSorted=b.sorted
print(bSorted)..
分类:
其他好文 时间:
2014-06-02 03:23:26
阅读次数:
354
Spark1.0出来了,变化还是挺大的,文档比以前齐全了,RDD支持的操作比以前多了一些,Spark on
yarn功能我居然跑通了。但是最最重要的就是多了一个Spark
SQL的功能,它能对RDD进行Sql操作,目前它只是一个alpha版本,喜欢尝鲜的同志们进来看看吧,下面是它的官网的翻译。Spa...
分类:
数据库 时间:
2014-06-02 01:27:13
阅读次数:
389
前段时间看了下scala做了下笔记,为后续看spark做点准备,笔记内容见图片。...
分类:
其他好文 时间:
2014-06-01 15:35:40
阅读次数:
182
for(...)yield循环创建了一个类型与原始集合相同的新集合。vala1=Array(2,3,5,7,11)
valresult=for(elem<-a1)yield2*elem
for(elem<-result){
println(elem)
}结果4
6
10
14
22通过守卫:for中的if来实现处理那些满足特定条件的元素。vala1=Array(2,3,5,7,11)
v..
分类:
其他好文 时间:
2014-06-01 13:48:56
阅读次数:
267
untiluntil是RichInt类的方法,返回所有小于但不包括上限的数字。vara1=Array(0,1,2,3,4,5,6,7,8,9)长度为10的Array[Int],类型是推断出来的。说明:已提供初始值就不需要new。演示代码vals=Array("Hello","World")
s(0)="Goodbye"
for(i<-0untils.length){
println(i+":"+s(..
分类:
其他好文 时间:
2014-06-01 13:21:28
阅读次数:
354