在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。
自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会出现。
所以一定要在main函数中,增加下面的代码,让程序去读取环境配置文件,得到你希望要的参数。
Configuration.addDefaultResource("hdfs-default.xml"); Configuration.addDefaultResource("hdfs-site.xml"); Configuration.addDefaultResource("mapred-default.xml"); Configuration.addDefaultResource("mapred-site.xml"); Configuration conf = getConf();
hadoop wordcount程序缺陷,布布扣,bubuko.com
原文地址:http://www.cnblogs.com/chenfool/p/3756941.html