Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数...
分类：
其他好文 时间：
2014-06-11 06:59:31
阅读次数：
288
共享内存区是可用IPC形式中最快的。一旦内存区映射到共享它的进程的地址空间，进程间数据的传递就不再涉及内核。然而往该共享内存区存放信息或从中取走信息的进程间通常需要某种形式的同步。不再涉及内核是指：进程不再通过执行任何进入内核的系统调用来彼此传递数据。内核必须建立允许各个进程共享该内存区的内存映射关系，然后一直管理内存区。
默认情况下通过fork派生的子进程并不与其父进程共享内存区。
mmap...
分类：
系统相关 时间：
2014-06-11 06:34:25
阅读次数：
439
前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。有不明白Spark的原理的话，有另外一位大牛已经写了一个系列的Spark的源码分析了，大家可以去参考他的，他的过程图画得非常好，他写过的我可能就不写了，实在没办法比人家写得更好。下面给出他的地址：
http:...
分类：
其他好文 时间：
2014-06-09 13:25:12
阅读次数：
439
Spark1.0.0
release于2014-05-30日正式公布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0添加了Spark
SQL这一个新的重要组件，用于载入和操作Spark的结构化数据；Spark1.0....
分类：
其他好文 时间：
2014-06-06 23:26:39
阅读次数：
295
在新近发布的spark
1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。
分类：
其他好文 时间：
2014-06-06 08:40:02
阅读次数：
348
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
其他好文 时间：
2014-06-05 14:25:48
阅读次数：
300
问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2...
分类：
其他好文 时间：
2014-06-02 15:38:43
阅读次数：
477
Spark1.0.0 release于2014-05-30日正式发布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0增加了Spark SQL这一个新的重要组件，用于加载和操作Spark的结构化数据；Spark1.0.0增强了现有的标准库（ML，streaming，GraphX??），同时还增强了Java和Python语言的...
分类：
其他好文 时间：
2014-06-02 15:11:10
阅读次数：
313
Spark1.0出来了，变化还是挺大的，文档比以前齐全了，RDD支持的操作比以前多了一些，Spark on
yarn功能我居然跑通了。但是最最重要的就是多了一个Spark
SQL的功能，它能对RDD进行Sql操作，目前它只是一个alpha版本，喜欢尝鲜的同志们进来看看吧，下面是它的官网的翻译。Spa...
分类：
数据库 时间：
2014-06-02 01:27:13
阅读次数：
389
前段时间看了下scala做了下笔记，为后续看spark做点准备，笔记内容见图片。...
分类：
其他好文 时间：
2014-06-01 15:35:40
阅读次数：
182
