根据当初 hadoop 安装目录下 conf 目录的 core-site.xml
的设置，找到该目录：进入该目录在 data 和 name 文件夹下均有 current 文件夹 ，和 current 文件夹下有 VERSION
文件主要要做的是使这两个文件中的 namespaceID 相同接下来就是...
分类：
其他好文 时间：
2014-05-09 05:15:30
阅读次数：
305
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
XSocket是什么？ java的nio的封装。详情：1.
http://xsocket.sourceforge.net/core/apidocs/2_1/index.html2.
http://xsocket.org开发中要解决的实际问题：如果客户端一定时间内没有操作，则踢客户端下线。/** * ...
分类：
其他好文 时间：
2014-05-09 04:10:15
阅读次数：
246
一、准备工作： 1、下载release版spark
0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2...
分类：
系统相关 时间：
2014-05-09 03:27:34
阅读次数：
512
如果遇到Segmentation
fault类型的错误,就比需用到gdb调试了具体步骤如下:1.生成core文件用于调试:ulimit -c
unlimited2.运行有问题的程序生成的可执行文件比如:./main,运行结束会发现core文件生成了Segmentation fault (core
d...
分类：
数据库 时间：
2014-05-08 17:43:18
阅读次数：
380
对象归档：
概念：
对象归档是指将对象写入文件保存在硬盘，当再次重新打开程序时，可以还原这些对象。也称：对象序列化、对象持久化。
数据持久性的方式（其实就是3类）
1，NSKeyedArchiver——对象归档
2，NSUserDefaults 3，属性列表
4，SQLite数据库 5，Core Data数据库
归档方式：
对Foundation库中对象进行归...
分类：
移动开发 时间：
2014-05-08 17:25:23
阅读次数：
394
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行，
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类：
其他好文 时间：
2014-05-08 16:01:31
阅读次数：
667
-(void) bringSublayerToFront:(CALayer*)layer{[layer
removeFromSuperlayer];[self insertSublayer:layer atIndex:[self.sublayers
count]-1];}-(void) sendSu...
分类：
移动开发 时间：
2014-05-08 14:01:24
阅读次数：
386
1、查看物理cpu个数
cat /proc/cupinfo |grep 'physical id'|sort|uniq|wc -l
2、查看一个cpu的物理核数
cat /proc/cupinfo |grep 'core id'|sort|uniq -c|wc -l
或
cat /proc/cupinfo |grep 'cpu cores'|uniq|awk -F ":" '{print...
分类：
系统相关 时间：
2014-05-08 04:07:55
阅读次数：
483
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
