[MapReduce]MapReduce调试：在TaskTracker节点上查看打印信息

业务背景

MapReduce编程模型的线上调试并不方便，它不像本地Java程序那样可以很方便地及时看到输出结果，本文将提供一种比较简捷的方式对MapReduce Job进行调试。

分析

完全并行模式下的MapReduce Job，使用

System.out.println("xxx");

并不会打印到控制台上，因为完全并行模式下的ＭR Job是分布在集群上各个TaskTracker节点上运行的，因此，使用System.out.println的结果，是将打印信息打印到实际运行的Slave节点上的

如何在TaskTracker节点上查看打印信息

如下一段代码来自MapReduce Job：

...
for (PmsPageTpaModel e : pmsPageTpaList) {
    if (e.getPageTypeId() == referPageTypeId 
            && e.getTpa().equals(tpa)) {
        // ------ debug info -----------------------
        System.out.println("DebugInfo : " 
                + e.getPageTypeId() + ", "
                + e.getTpa() + ", "
                + e.getAlgorithmId());
        // ------ debug info -----------------------

        return e.getAlgorithmId();
    }
}
...

执行上面的Job，等待执行完毕以后，进入JobTracker页面

因为上面的程序代码是在Reduce端进行的，所以点击“Reduce”，进入后可以看到Reduce端的所有TaskTracker节点

选择一个TaskTracker节点进去

然后点击logs，查看TaskTracker节点的日志信息

结论

完全并行模式的MR模型，可以借助JobTracker页面，结合

System.out.println("xxx");

在 已经运行完成的Job的 TaskTracker节点上查看打印信息。