一个利用memory block分配机制的高性能的内存管理器类...
分类：
其他好文 时间：
2014-05-10 10:43:38
阅读次数：
454
http://wiki.apache.org/hadoop/FAQ...
分类：
其他好文 时间：
2014-05-07 07:51:10
阅读次数：
229
策略模式定义了算法家族，分别封装起来，让它们之间可以互相替换，此模式让算法的变化，不会影响到使用算法的用户。何谓算法呢？它是一种描述程序行为的语言，广泛应用于计算机科学领域，是一种让程序最为简洁的思考方式。
一、组成：
1.抽象策略角色： 策略类，通常由一个接口或者抽象类实现。
2.具体策略角色：包装了相关的算法和行为。
3.环境角色：持有一个策略类的引用，最终给客户端调用。
二...
分类：
其他好文 时间：
2014-05-07 07:25:27
阅读次数：
273
Explain
Explain是Pig提供的调试工具，使用explain可以输出Pig Lation的执行计划。值得一提的是，explain支持-dot选项，将执行计划以DOT格式输出， (DOT是一种图形描述语言，请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类：
其他好文 时间：
2014-05-07 06:03:35
阅读次数：
350
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
题目:
在数轴上有n个区间，每个区间都是连续的整数区间。现在要在数轴上任取一堆元素，构成一个集合V，要求每个区间和V的交集至少有两个不同的元素。求V的最小的元素个数。
问题分析：
可以使用贪心算法，最终结果肯定是小于大于2×n的，如果两个集合之间有相同的元素，那么选相同的元素必然会使结果更小，当我们以e排序后，如果有相同的必然是最后的元素。所以贪心的策略就是如果一个区间最...
分类：
其他好文 时间：
2014-05-07 04:04:23
阅读次数：
294
/images/loadingImg.gif"/>
数据保存中...
提示：
显示div：$("#gcjDhccFullScreen").css("display","block");
隐藏div：$("#gcjDhccFullScreen").css("display","none");...
分类：
其他好文 时间：
2014-05-07 03:38:29
阅读次数：
275
Ubuntu14下编译64位Hadoop2.4...
分类：
其他好文 时间：
2014-05-07 03:07:30
阅读次数：
256
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
