第2期Spark亚太研究院决胜云计算大数据时代：100期Spark公益大讲堂之Shark、SparkSQL，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮...
分类：
数据库 时间：
2014-10-04 23:51:27
阅读次数：
323
Spark视频第2期：Shark、SparkSQL地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮箱：18610086859@126.com QQ: 17404...
分类：
数据库 时间：
2014-10-04 01:05:45
阅读次数：
266
Spark SQL架构和案例深入实战 视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱：18610086859@126.com QQ: 174041554...
分类：
数据库 时间：
2014-10-04 00:18:35
阅读次数：
359
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
并行化scala集合(Parallelize)//加载数据1~10val num=sc.parallelize(1 to 10)//每个数据项乘以2,注意 _*2记为一个函数(fun) val doublenum = num.map(_*2) //内存缓存数据doublenum.cache() //...
分类：
其他好文 时间：
2014-10-02 22:54:43
阅读次数：
266
最近想对自己学的东西做些回顾，想到写博客是个不错的方式，方便他人也有利自己，刚开始写不足之处大家多担待。 编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile)： Spark编译有提供了两种方式： Maven 在 /etc/profi...
分类：
其他好文 时间：
2014-10-02 21:24:03
阅读次数：
412
Spark SQL源码分析之如何查询cache后的table...
分类：
数据库 时间：
2014-10-02 14:51:33
阅读次数：
491
SparkContext是开发Spark应用的入口，它负责和整个集群的交互，包括创建RDD，accumulators and broadcast variables。理解Spark的架构，需要从这个入口开始。...
分类：
其他好文 时间：
2014-10-01 22:56:01
阅读次数：
276
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以.....
分类：
其他好文 时间：
2014-10-01 17:33:51
阅读次数：
456
上篇的博客iOS开发之使用XMPPFramework实现即时通信(一)只是本篇的引子，本篇博客就给之前的微信加上即时通讯的功能，主要是对XMPPFramework的使用。本篇博客中用到了Spark做测试，当然也少不了Openfire服务器，在这就不详述Openfire的安装过程了（网上的教程还是.....
分类：
移动开发 时间：
2014-09-30 13:26:29
阅读次数：
321
