spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
整个Android系统的启动分为Linux kernel的启动和Android系统的启动。Linux kernel启动起来后，然后就运行第一个用户程序，在Android中，就是init程序，上一博文已经介绍。
Init进程始终是第一个进程。Init进程的对应的代码的main函数在目录system/core/init/init.c，先来总体看一下这个main函数。
int main(int...
分类：
移动开发 时间：
2014-05-09 22:24:03
阅读次数：
536
cpulscpu命令，查看的是cpu的统计信息.blue@blue-pc:~$lscpu
Architecture:i686#cpu架构
CPUop-mode(s):32-bit,64-bit
ByteOrder:LittleEndian#小尾序
CPU(s):4#总共有4核
On-lineCPU(s)list:0-3
Thread(s)percore:1#每个cpu核，只能支持一个线程，即不支持超线程
Core(s)perso..
分类：
系统相关 时间：
2014-05-09 21:21:28
阅读次数：
579
一,针对每个情景模式的默认值修改：1,默认铃声是统一在alps/build/target/product/core.mk文件中设置，其中ro.config.notification_sound表示通知的默认铃声，ro.config.ringtone表示语音来电和视频来电的铃声，若希望语音来电和视频来...
分类：
其他好文 时间：
2014-05-09 19:30:59
阅读次数：
282
Android provides a default Bluetooth stack,
BlueDroid, that is divided into two layers: The Bluetooth Embedded System (BTE),
which implements the core...
分类：
其他好文 时间：
2014-05-09 10:18:47
阅读次数：
518
应用范围：Vista / win7, 不支持XP1. 关于Windows Core Auido
APIs 在Windowss Vista及Windows 7操作系统下，微软为应用程序提供了一套新的音频组件来改进音频质量。Core Audio
APIs提供了这些组件的使用方法，是更高级的APIs的实现...
一次异常关机后，eclipse怎么都启动不了，开启任务管理器发现eclipse一直是未响应的状态找了很久，发现是设置的workspace目录出现了什么问题。最终解决方法:进入workspace/.metadata/.plugins/目录重命名或删除org.eclipse.core.resources...
分类：
系统相关 时间：
2014-05-09 02:53:27
阅读次数：
417
Flex1 到 Flex3 使用的都是 Halo组件，这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。
先写个“食物”的模型 Dinner.as 。
package model {
[Bindable]
public class Dinner {
public...
分类：
其他好文 时间：
2014-05-09 02:34:26
阅读次数：
306
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来:
core-site.xml:
fs.defaultFS
hdfs://fc20:9000
hadoop.tmp.dir
/home/ljq/hadoop/tm...
分类：
其他好文 时间：
2014-05-09 00:35:27
阅读次数：
342
