码迷,mamicode.com
首页 > 系统相关 > 详细

大数据之简单统计单词的案例在本地eclipse运行

时间:2019-01-13 21:14:13      阅读:186      评论:0      收藏:0      [点我收藏+]

标签:创建   cli   job   就是   pat   ram   设置   环境   简单   

这是利用eclipse的线程代替linuxe的进程去执行

第一步:首先要将已经下载解压后的hadoop配置好相应的环境变量

第二步:

//创建配置文件对象
        Configuration conf=new Configuration(true);

也就是下面的两行代码复制到创建配置文件对象的下面
        //设置在本地运行的文件对象
        conf.set("mapreduce.framework.name", "local");
        // conf.set("fs.defaultFS", "hdfs://node01:9000");
        conf.set("fs.defaultFS", "file:///");

第三步:

//指定joB的原始的输入输出路径,通过参数传入
        FileInputFormat.setInputPaths(job, new Path("D://code//mr//wc//input//"));
        FileOutputFormat.setOutputPath(job, new Path("D://code//mr//wc//output//"));

当然这里也可以利用主方法的run configurations来传入参数:下面给出一个验证的小案例

技术分享图片

技术分享图片

技术分享图片

技术分享图片

本案的设置如下:

技术分享图片

得到结果:

技术分享图片

表名成功在本地的eclipse运行

大数据之简单统计单词的案例在本地eclipse运行

标签:创建   cli   job   就是   pat   ram   设置   环境   简单   

原文地址:https://www.cnblogs.com/liyunfeng-deng/p/10263816.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!