sparkSQL1.1对数据的查询分成了2个分支：sqlContext 和 hiveContext。
在sqlContext中，sparkSQL可以使用SQL-92语法对定义的表进行查询，表的源数据可以来自：
RDDparquet文件json文件
在hiveContext中，sparkSQL可以使用HQL语法，对hive数据进行查询，sparkSQ...
分类：
数据库 时间：
2014-09-10 09:38:00
阅读次数：
406
一、什么是kafka?kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（11..
分类：
其他好文 时间：
2014-09-10 02:50:40
阅读次数：
342
Today I attended a meeting of reviewing code, and I learned a lot from it. In the discuss, we found out a problem that our program didn't have a good ...
分类：
其他好文 时间：
2014-09-09 22:49:59
阅读次数：
220
简介 从Scala2.10.0开始提供了一种利用现有数据（变量等）创建字符串的方式--字符串插值(String Interprolation）。 字符串插值允许用户直接在字符串字面量中嵌入变量引用。下面是一个例子： scala> val name = "Jame"name: String = Jam...
分类：
其他好文 时间：
2014-09-09 21:26:09
阅读次数：
194
安装SparkMaster、Slave1、Slave2这三台机器上均需要安装Spark。首先在Master上安装Spark，具体步骤如下：第一步：把Master上的Spark解压：我们直接解压到当前目录下：此时，我们创建Spark的目录“/usr/local/spark”:把解压后的“spark-1...
分类：
其他好文 时间：
2014-09-09 15:36:49
阅读次数：
137
安装Spark ? Master、Slave1、Slave2这三台机器上均需要安装Spark。 首先在Master上安装Spark，具体步骤如下： 第一步：把Master上的Spark解压： 我们直接解压到当前目录下： 此时，我们创建Spark的目录“/usr/...
分类：
其他好文 时间：
2014-09-09 13:52:59
阅读次数：
167
kestrel用的是scala，java无法直接使用。如想用java来运行kestrel，需要利用Xmemcached库。创建queue_kestrel.java# cd# mkdir test# export source_dir=~/test# vi queue_kestrel.java----...
分类：
编程语言 时间：
2014-09-09 11:04:18
阅读次数：
230
Scala中的构造器相较于Java比较特殊，分为两种：主构造器，从构造器。主构造器是和类中字段和方法的定义混合在一起的。在Scala中，不需要像Java一样需要在类中定义一个与类名相同的方法来当作构造器。主构造器的参数列表写在类名的后面，而构造器的内容，则直接写在类定义里面，所以说，一个Scala类...
分类：
其他好文 时间：
2014-09-07 15:57:35
阅读次数：
213
主要包含使用maven和sbt编译spark源码。还有配置idea等。...
分类：
其他好文 时间：
2014-09-07 01:07:54
阅读次数：
202
本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库，这是一个使用spark的综合性示例。
分类：
Web程序 时间：
2014-09-06 15:59:03
阅读次数：
276
