Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
html5的一个非常cool的功能，就是web
storage，类似于之前的cookie，不过与之不同的是，web storage
拥有本地5兆的容量可以存储，而cookie却只有4K，这是完全不能比的优势。webstrange又分为：localstorage，sessionstorage和本地.....
分类：
Web程序 时间：
2014-05-09 04:56:03
阅读次数：
363
一、准备工作： 1、下载release版spark
0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2...
分类：
系统相关 时间：
2014-05-09 03:27:34
阅读次数：
512
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
private static String getDefaultPath(){ boolean
isHaveExternalSD = false; String DefaultPath = "/storage/sdcard0"; File
externalSDCard = new File("/st...
分类：
其他好文 时间：
2014-05-08 22:48:26
阅读次数：
332
一.参考http://www.csdn.net/article/a/2013-12-18/309280http://gtstorageworld.blog.51cto.com/908359/1269024http://www.searchstorage.com.cn/microsites/2014s...
分类：
Web程序 时间：
2014-05-08 17:38:56
阅读次数：
344
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行，
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类：
其他好文 时间：
2014-05-08 16:01:31
阅读次数：
667
MySQL 可以看成是二层架构
第一层SQL Layer，包括权限判断，sql 解析，执行计划优化，query cache 的处理等等；
第二层存储引擎层(Storage Engine Layer)，是底层数据存取操作实现部分，由多种存储引擎共同组成。
SQL Layer 中包含了多个子模块:
1、初始化模块
MySQL Server 启动的时候，对整个系统做各种各样的初...
分类：
数据库 时间：
2014-05-08 10:47:13
阅读次数：
381
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
在单页模版中使用基于HTTP的方式通过POST和GET请求传递参数，而在多页模版中不需要与服务器进行通信，通常在多页模版中有以下三种方法来实现页面间的参数传递。1、GET方式：在前一个页面生成参数并传入下一个页面，然后在下一个页面中进行GET内容解析。2、通过HTML5的Web Storage进行参数传递。3、建立当前页面变量，在前一个页面将所需传递的参数内容赋值到变量中，在后一个页面从变量中将参...
分类：
移动开发 时间：
2014-05-06 21:58:26
阅读次数：
450
