码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop配置(4) --在每次运行时自动删除输出目录

时间:2016-06-25 08:25:32      阅读:223      评论:0      收藏:0      [点我收藏+]

标签:

运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:

  1. Configuration conf = new Configuration();
  2. Job job = new Job(conf);
  3. /* 删除输出目录 */
  4. Path outputPath = new Path(args[1]);
  5. outputPath.getFileSystem(conf).delete(outputPath, true);

若要关闭 Hadoop,则运行

  1. ./sbin/stop-dfs.sh

注意

下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 就可以!






hadoop配置(4) --在每次运行时自动删除输出目录

标签:

原文地址:http://www.cnblogs.com/iathena/p/5615738.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!