这一章要讲Spark Streaming，讲之前首先回顾下它的用法，具体用法请参照《Spark Streaming编程指南》。Example代码分析val ssc = new StreamingContext(sparkConf, Seconds(1));// 获得一个DStream负责连接 监听端...
分类：
其他好文 时间：
2014-07-22 08:01:34
阅读次数：
351
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
1：Spark生态和安装部署
Spark生态
Spark（内存计算框架）
SparkSteaming（流式计算框架）
Spark SQL（ad-hoc）
Mllib（Machine Learning）
GraphX（bagel将被取代）
安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone H...
分类：
其他好文 时间：
2014-07-22 00:27:35
阅读次数：
317
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
random_shuffle
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
描述：将[first,last)的元素次序随机重排。
思路：
必须是 RandomAccessIterator
1.遍历区间
2.产生[...
分类：
其他好文 时间：
2014-07-20 23:12:29
阅读次数：
231
本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成LogicalPlan的。...
分类：
数据库 时间：
2014-07-19 11:15:13
阅读次数：
389
UVA 1156 - Pixel Shuffle
题目链接
题意：根据题目中的变换方式，给定一串变换方式，问需要执行几次才能回复原图像
思路：这题恶心的一比，先模拟求出一次变换后的对应的矩阵，然后对该矩阵求出所有循环长度，所有循环长度的公倍数就是答案
代码：
#include
#include
const int N = 1100;
int t, n, g[N]...
分类：
其他好文 时间：
2014-07-19 08:15:10
阅读次数：
307
上篇博文讲述了如何通过修改源码来查看调用堆栈，尽管也很实用，但每修改一次都需要编译，花费的时间不少，效率不高，而且属于侵入性的修改，不优雅。本篇讲述如何使用intellij idea来跟踪调试spark源码。
分类：
其他好文 时间：
2014-07-18 17:13:03
阅读次数：
210
前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w.....
分类：
其他好文 时间：
2014-07-17 23:26:44
阅读次数：
345
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲： 第一步：搭建H...
分类：
其他好文 时间：
2014-07-17 21:35:29
阅读次数：
389
