Hadoop的MR作业支持链式处理，类似在一个生产牛奶的流水线上，每一个阶段都有特定的任务要处理，比如提供牛奶盒，装入牛奶，封盒，打印出厂日期，等等，通过这样进一步的分工，从而提高了生产效率，那么在我们的Hadoop的MapReduce中也是如此，支持链式的处理方式，这些Mapper像Linux管道...
分类：
移动开发 时间：
2014-08-15 12:43:28
阅读次数：
285
ChainMapper/ChainReducer 主要为了解决线性链式Mapper 而提出的。也就是说，在Map 或者Reduce 阶段存在多个Mapper，这些Mapper 像Linux 管道一样，前一个Mapper的输出结果直接重定向到下一个Mapper 的输入，形成一个流水线，形式类似于[MA...
分类：
移动开发 时间：
2014-08-15 12:20:18
阅读次数：
234
学习了顶点处理，你就知道固定功能流水线怎么将顶点从模型空间坐标系统转化到屏幕空间坐标系统。虽然固定功能流水线也可以通过设置渲染状态和参数来改变最终输出的结果，但是它的整体功能还是受限。当我们想实现一个外来的光照模型，外来的Fog或者点大小计算方式，等等，我们可能就放弃使用固定功能流水线，转而使用CP...
分类：
其他好文 时间：
2014-08-13 10:17:35
阅读次数：
414
Rsync简介rsync 是一个 Unix 系统下的文件同步和传输工具。它具备以下特性:1. 能更新整个目录和树和文件系统2. 有选择性的保持符号链链、硬链接、文件属于、权限、设备以及时间等3. 对于安装来说,无任何特殊权限要求4. 对于多个文件来说,内部流水线减少文件等待的延时5. 能用 rsh、...
分类：
其他好文 时间：
2014-08-12 18:21:14
阅读次数：
285
一.前言1.编译器优化介绍：由于内存訪问速度远不及CPU处理速度，为提高机器总体性能，在硬件上引入硬件快速缓存Cache，加速对内存的訪问。另外在现代CPU中指令的运行并不一定严格依照顺序运行，没有相关性的指令能够乱序运行，以充分利用CPU的指令流水线，提高运行速度。以上是硬件级别的优化。再看软件一...
分类：
编程语言 时间：
2014-08-11 21:01:22
阅读次数：
259
问题背景是这样的：随着处理器内流水线越来越长，主频越来越高，分支问题带来的性能损失就越来越明显了。根据统计，分支指令占指令总数的10%（静态），15%（动态）。也就是说平均每处理6~7条指令就出现一条条件转移指令。比如流水线的深度为25，当出现条件转移时，整个流水线都需要被刷新，这个性能损失是难以容忍的。尽管可以采用分支预测等手段来减缓条件转移带来的开销，但并不能彻底解决问题。
我们首先来研究一下分支指令的执行速度：
ExecTime = PredictTime + FailRate * FailPenal...
分类：
其他好文 时间：
2014-08-05 22:39:20
阅读次数：
309
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
计算机科学中，NOP或NOOP（No Operation或No Operation Performed的缩写，意为无操作）是汇编语言的一个指令，一系列编程语句，或网络传输协议中的表示不做任何有效操作的命令。
NOP是用执行一条具有操作数，具有相同效果的指令;
NOP指令通常用于控制时序的目的，强制内存对齐，防止流水线灾难，占据分支指令延迟），或是作为占位符以供程序的改善（或替代被移除的指令）。...
分类：
其他好文 时间：
2014-08-03 05:46:14
阅读次数：
687
一.前言1.编译器优化介绍：由 于内存访问速度远不及CPU处理速度，为提高机器整体性能，在硬件上引入硬件高速缓存Cache，加速对内存的访问。另外在现代CPU中指令的执行并不一 定严格按照顺序执行，没有相关性的指令可以乱序执行，以充分利用CPU的指令流水线，提高执行速度。以上是硬件级别的优化。再看软...
分类：
编程语言 时间：
2014-08-02 15:25:23
阅读次数：
242
为实现数据前推而对OpenMIPS系统结构所做的修改。有两个方面。
（1）将处于流水线执行阶段的指令的运算结果，包括：是否要写目的寄存器wreg_o、要写的目的寄存器地址wd_o、要写入目的寄存器的数据wdata_o等信息送到译码阶段，如图5-8中虚线所示。
（2）将处于流水线访存阶段的指令的运算结果，包括：是否要写目的寄存器wreg_o、要写的目的寄存器地址wd_o、要写入目的寄存器的数据wdata_o等信息送到译码阶段。...
分类：
其他好文 时间：
2014-07-31 17:18:26
阅读次数：
295
