Explain
Explain是Pig提供的调试工具，使用explain可以输出Pig Lation的执行计划。值得一提的是，explain支持-dot选项，将执行计划以DOT格式输出， (DOT是一种图形描述语言，请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类：
其他好文 时间：
2014-05-07 06:03:35
阅读次数：
350
eshell是emacs shell的简称,是emacs自带的shell.开始设置的时候还在想是否要找到它的key map (eshell-mode-map?).
原来它是采用hook设置,如下所示
(add-hook 'eshell-mode-hook
(lambda ()
(local-set-key (kbd "C-j") 'switch-to...
分类：
其他好文 时间：
2014-05-07 05:25:39
阅读次数：
253
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
昨晚Debug了好久始终找不出哪里错了，今早再一看发现自己已荣升逗比Beta 2.0 Version.
个人感觉此题为HDU 4003 的弱化版。
把每棵子树都看成一类商品，在每类商品中至多选一件。则问题转化为最基本的分组背包问题。
dp[s][c][k] c == 1时，表示在s结点不返回时走K的最大收益，c == 0时，表示在s结点重新返回时走k步的最大收益。
可以dfs从底到顶更新d...
分类：
移动开发 时间：
2014-05-07 04:52:22
阅读次数：
500
以前的模板和题目
白书例题，基本模板，多个串连接时的处理，二分加分组的处理。
注意n和m的值
n为字符个数
m为最大字符值+1
分组时，分出来的区间是[ )，左闭右开
idx[],的有效只是1-t-1，为t表示自己添加的字符
#include
#include
#include
#include
using namespace std;
const int maxn = ...
分类：
其他好文 时间：
2014-05-07 04:50:29
阅读次数：
250
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
package com.array;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import...
分类：
编程语言 时间：
2014-05-07 03:45:11
阅读次数：
365
Ubuntu14下编译64位Hadoop2.4...
分类：
其他好文 时间：
2014-05-07 03:07:30
阅读次数：
256
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
