Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
过程式析构：测试案例：test.cpp#include using namespace
std;class Test{public: Test(int dt=0){data=dt;} ~Test(){coutusing namespace
std;class Test{public: Test...
分类：
编程语言 时间：
2014-05-09 03:52:15
阅读次数：
374
弹出菜单案例内容此处显示 class "footer" 的内容测试此处显示 class
"footer" 的内容
分类：
其他好文 时间：
2014-05-08 22:33:51
阅读次数：
322
前言：作为一名Linux/unix系统工程师、项目实施工程师，这几年一直在涉及到对外项目，经手过许多小中型网站的架构，F5、LVS及Nginx接触的都比较多，我想一种比较通俗易懂的语气跟大家说明下何谓负载均衡，何谓Linux集群，帮助大家走出这个误区，真正意义上来理解它们，具体项目施工案例请参考我在...
分类：
系统相关 时间：
2014-05-08 18:00:02
阅读次数：
448
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行，
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类：
其他好文 时间：
2014-05-08 16:01:31
阅读次数：
667
一项新技术或者一个新特性，只有你用它解决实际问题后，才能真正体会到它的魅力，真正理解它。也期待大家能够多分享解一些解决实际问题的内容。在我们遭遇“黑色30秒”问题的过程中，切身体会到了异步的巨大作用，于是开始逐步地用async/await改造现有代码。
分类：
其他好文 时间：
2014-05-08 15:14:28
阅读次数：
345
《综述》跟Ruiy一起玩转Cobbler
本篇内容注主要涉及cobbler架构快速搭建,Cobbler命令行语法简单应用,Cobbler-WEB,system-config-kickStart基于Windows界面配置生成ks脚本模板,ks简单语法介绍等,关于Cobbler维护yum
repo,部....
分类：
其他好文 时间：
2014-05-08 14:56:21
阅读次数：
469
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
运维工程师一般做两个主要工作：1.数据保护。2.不间断服务。一.数据保护.全网数据备份解决方案：数据保护包括：数据库，图片，程序，运维配置文件，其他相关的。数据库数据：主从（物理故障），备机开binlog保持一天以上,按天做备份案例百度：一主多从，M-s1(不提供服务，专做..
分类：
其他好文 时间：
2014-05-08 03:24:44
阅读次数：
256
DNS案例一：域名：abc.comdns服务器：192.168.2.100www:1.1.1.1ftp:2.2.2.2mail:3.3.3.3pop3smtpMX①安装准备mount/dev/cdrom/media/cdrom/cd/media/cdrom/Packages/llbind*yum--disablerepo=\*--enablerepo=c6-mediainstallbindbind-chrootbind-utilscd/var/named/chroot/该目..
