码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop本地化运行

时间:2017-07-06 10:20:43      阅读:162      评论:0      收藏:0      [点我收藏+]

标签:默认   dll   bit   min   .com   系统   roo   ati   out   

hadoop_dll2.6.0_64bit下载地址 https://pan.baidu.com/s/1kVSMkV9  
首先在解压hadoop2.6.5 然后配置到path里面
在bin里加入hadoop_dll2.6.0_64bit这个压缩包中的所有文件,选择覆盖,
此时在java代码里面
Configuration conf= new Configuration();
//选择文件系统默认是本地
//conf.set("fs.defaultFS","hdfs://mini0:9000");
//hadoop路径
//conf.set("hadoop.home.dir","D:\\test\\hadoop-2.6.5");
//解决在hdfs上的权限问题
// System.setProperty("HADOOP_USER_NAME","root");
此时尝试运行,如果不行的话,重启之后再尝试
如果选择了本地运行那么在输入和输出可以用本地的
//数据来源?---》hdfs 设置数据来源的位置
FileInputFormat.addInputPath(job,new Path("D:\\test\\hadoop-2.6.5\\hadoopData\\word.txt"));
//输出的位置
FileOutputFormat.setOutputPath(job,new Path("D:\\test\\hadoop-2.6.5\\hadoopData\\output5"));
 

hadoop本地化运行

标签:默认   dll   bit   min   .com   系统   roo   ati   out   

原文地址:http://www.cnblogs.com/rocky-AGE-24/p/7124459.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!