1. Arbitrary multi parameters funcssum(1,2,3,4,5) = sum(1 to 5: _*)the equal '=' can be ignored if there is none return val1 def sum(args: Int*) = {2 ...
分类：
其他好文 时间：
2014-10-07 00:25:22
阅读次数：
285
Apache Spark1.1.0部署与开发环境搭建 - Mark Lin0. 准备出于学习目的，本文将Spark部署在虚拟机中。在虚拟机中，需要安装以下软件：Ubuntu 14.04hadoop-2.4.0.tar.gzjdk-7u67-linux-x64.tar.gzscala-2.10.4.t...
分类：
其他好文 时间：
2014-10-05 16:47:28
阅读次数：
588
使用ZK作为HA方案的Master是如何快速故障恢复的呢？本文为你详细解读。最后给出的流程图，可以清楚的理解恢复过程的数据流程和处理逻辑。...
分类：
其他好文 时间：
2014-10-05 05:11:27
阅读次数：
252
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
Spark亚太研究院决胜大数据时代公益大讲坛第五期：SparkSQL架构和案例深入实战，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱：18610086...
分类：
数据库 时间：
2014-10-05 00:48:27
阅读次数：
713
第2期Spark亚太研究院决胜云计算大数据时代：100期Spark公益大讲堂之Shark、SparkSQL，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮...
分类：
数据库 时间：
2014-10-04 23:51:27
阅读次数：
323
Spark视频第2期：Shark、SparkSQL地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮箱：18610086859@126.com QQ: 17404...
分类：
数据库 时间：
2014-10-04 01:05:45
阅读次数：
266
Spark SQL架构和案例深入实战 视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱：18610086859@126.com QQ: 174041554...
分类：
数据库 时间：
2014-10-04 00:18:35
阅读次数：
359
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
并行化scala集合(Parallelize)//加载数据1~10val num=sc.parallelize(1 to 10)//每个数据项乘以2,注意 _*2记为一个函数(fun) val doublenum = num.map(_*2) //内存缓存数据doublenum.cache() //...
分类：
其他好文 时间：
2014-10-02 22:54:43
阅读次数：
266
