最近想对自己学的东西做些回顾，想到写博客是个不错的方式，方便他人也有利自己，刚开始写不足之处大家多担待。 编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile)： Spark编译有提供了两种方式： Maven 在 /etc/profi...
分类：
其他好文 时间：
2014-10-02 21:24:03
阅读次数：
412
Spark SQL源码分析之如何查询cache后的table...
分类：
数据库 时间：
2014-10-02 14:51:33
阅读次数：
491
SparkContext是开发Spark应用的入口，它负责和整个集群的交互，包括创建RDD，accumulators and broadcast variables。理解Spark的架构，需要从这个入口开始。...
分类：
其他好文 时间：
2014-10-01 22:56:01
阅读次数：
276
从2011年开始写Android ApiDemos 以来，Android的版本也更新了很多，目前的版本已经是4.04。ApiDemos中的例子也增加了不少，有必要更新Android ApiDemo示例解析系列文章（当然之前的文章还是有用的，依然可以作为参考）。为了不重复之前的内容，我们准备使用Scala语言开发Android应用，随着例子的逐步解析，我们会把ApiDemos的例子的代码依次修改为S...
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以.....
分类：
其他好文 时间：
2014-10-01 17:33:51
阅读次数：
456
介绍
Scala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。随着开发者对Scala的兴趣日增，以及越来越多的工具支持，无疑Scala语言将成为你手上一件必不可少的工具。
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据...
分类：
数据库 时间：
2014-09-30 20:17:19
阅读次数：
335
上篇的博客iOS开发之使用XMPPFramework实现即时通信(一)只是本篇的引子，本篇博客就给之前的微信加上即时通讯的功能，主要是对XMPPFramework的使用。本篇博客中用到了Spark做测试，当然也少不了Openfire服务器，在这就不详述Openfire的安装过程了（网上的教程还是.....
分类：
移动开发 时间：
2014-09-30 13:26:29
阅读次数：
321
1.配置jdk：可看这里 2.下载scala，并安装 3.配置scala环境变量，把scala的安装路径加入path内 ps：验证是否安装正确：cmd-》输入scala，如果出现scala环境，则配置成功 4.下载IntelliJ IDEA,并安装 5.打开IDE： 点击...
scala是一种集面向对象特性和函数式特性于一身并可运行在JVM上的强类型静态语言。因为可以运行在JVM上，并在设计时借鉴于大量的java语言特性，故可以和java互动并可以调用java相关类库，这让现在大量掌握java的编程者的智力投资得到极大的利用。并且还借鉴了Elang函数语言及Ruby等.....
分类：
其他好文 时间：
2014-09-30 02:03:51
阅读次数：
284
1.Storm是什么:Storm简单来说，就是分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点：1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类：
其他好文 时间：
2014-09-29 20:00:11
阅读次数：
225
