图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些常见图算法在Spark上的并行化实现，同时提供了丰富的API接口。本...
分类：
其他好文 时间：
2014-06-12 21:33:34
阅读次数：
427
Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数...
分类：
其他好文 时间：
2014-06-11 06:59:31
阅读次数：
288
共享内存区是可用IPC形式中最快的。一旦内存区映射到共享它的进程的地址空间，进程间数据的传递就不再涉及内核。然而往该共享内存区存放信息或从中取走信息的进程间通常需要某种形式的同步。不再涉及内核是指：进程不再通过执行任何进入内核的系统调用来彼此传递数据。内核必须建立允许各个进程共享该内存区的内存映射关系，然后一直管理内存区。
默认情况下通过fork派生的子进程并不与其父进程共享内存区。
mmap...
分类：
系统相关 时间：
2014-06-11 06:34:25
阅读次数：
439
1：Spark1.0.0属性配置方式
Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。
在Spark1.0.0提供了3种方式的属性配置：
SparkConf方式
SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，...
分类：
其他好文 时间：
2014-06-10 14:47:43
阅读次数：
280
前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。有不明白Spark的原理的话，有另外一位大牛已经写了一个系列的Spark的源码分析了，大家可以去参考他的，他的过程图画得非常好，他写过的我可能就不写了，实在没办法比人家写得更好。下面给出他的地址：
http:...
分类：
其他好文 时间：
2014-06-09 13:25:12
阅读次数：
439
Spark1.0.0
release于2014-05-30日正式公布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0添加了Spark
SQL这一个新的重要组件，用于载入和操作Spark的结构化数据；Spark1.0....
分类：
其他好文 时间：
2014-06-06 23:26:39
阅读次数：
295
在新近发布的spark
1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。
分类：
其他好文 时间：
2014-06-06 08:40:02
阅读次数：
348
Spark1.0.0 release于2014-05-30日正式发布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0增加了Spark SQL这一个新的重要组件，用于加载和操作Spark的结构化数据；Spark1.0.0增强了现有的标准库（ML，streaming，GraphX??），同时还增强了Java和Python语言的...
分类：
其他好文 时间：
2014-06-02 15:11:10
阅读次数：
313
Spark1.0出来了，变化还是挺大的，文档比以前齐全了，RDD支持的操作比以前多了一些，Spark on
yarn功能我居然跑通了。但是最最重要的就是多了一个Spark
SQL的功能，它能对RDD进行Sql操作，目前它只是一个alpha版本，喜欢尝鲜的同志们进来看看吧，下面是它的官网的翻译。Spa...
分类：
数据库 时间：
2014-06-02 01:27:13
阅读次数：
389
前段时间看了下scala做了下笔记，为后续看spark做点准备，笔记内容见图片。...
分类：
其他好文 时间：
2014-06-01 15:35:40
阅读次数：
182
