Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
一、准备工作： 1、下载release版spark
0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2...
分类：
系统相关 时间：
2014-05-09 03:27:34
阅读次数：
512
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行，
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类：
其他好文 时间：
2014-05-08 16:01:31
阅读次数：
667
history.go(+1);禁止返回location.replace(url);------------------------>清除历史记录。
分类：
其他好文 时间：
2014-05-08 13:41:04
阅读次数：
299
前言在我们日常的网页浏览中，我们非常喜欢做一个操作：点击浏览器的前进后退在Ajax技术出现后，有些时候前进后退就会给开发者带来困扰，甚至一些开发者试图去干掉History随着Html5的发展，移动端的兴旺，单页应用出现了，于是History的处理被不得不提上议程了！要知道，这一直是一项让人不愿意去碰...
分类：
其他好文 时间：
2014-05-08 12:11:38
阅读次数：
349
tab 命令补全history 先前输入的命令,!+序号重新执行ctrl+l,clear
清屏ctrl+u 删除当前输入ctrl+c 终止命令ctrl+d 退出系统一、命名别名 #alias 查看已有的别名 #alias copy=cp
让copy可以执行cp的命令 #u...
分类：
系统相关 时间：
2014-05-08 09:12:38
阅读次数：
314
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
分享一个zabbix数据库的优化脚本，适合2.0版本。对history，hostory_uint按日分区，trends,trends_uint按月分区；关闭Houserkeeper:vimzabbix_server.confDisableHousekeeper=1对history,hostory_uint每日建立第二天的分区并删除45天前的分区对trends,trends_uint每月20号建立..
分类：
数据库 时间：
2014-05-08 03:26:48
阅读次数：
499
HTML5新添加了对历史的管理，更新了history对象让管理历史状态更加方便了。在现代Web应用中，用户可以通过”前进”和”后退”按钮进行历史页面的切换。这让一些不在新页面中打开的新页面前进后退自如，提高了用户体验。通过haschange事件，可以知道URL的参数什么时候发生了变化，也就是什么时候该有所反应。通过状态管理的API，能够在不加载新页面的情况下改变浏览器的URL。所以需要使用...
分类：
Web程序 时间：
2014-05-07 21:34:55
阅读次数：
496
