码迷,mamicode.com
首页 > 其他好文 > 详细

mapreduce程序调用各个类的功能

时间:2016-01-03 23:50:59      阅读:301      评论:0      收藏:0      [点我收藏+]

标签:

转自:http://www.cnblogs.com/z1987/p/5052409.html

1、map类

  map类继承了库类中的Mapper,即Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>。通常map类中会重写map方法,map每次只接受一个key-value,然后对其进行预处理,再分发出处理后的数据。其map方法为:

protected void map(Object key, Value value, Context context)
        throws IOException, InterruptedException{
    context.write((KEYOUT) key, (VALUEOUT) value);
}

2、Reducer类

  Reducer类继承了类库中的Reducer,原型为Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>,reduce类除了reduce方法不一样外,其他跟map均一样,功能也相同。其reduce方法为:

protected void reduce(Text key, Interable<InterWrite> values, Context context)
        throws IOException, InterruptedException {
    for(Interable<IntWritable> value: values) {
        context.write(Text key, IntWritable value;
    }           
}

3、mapreduce驱动

  简单来说就是Main函数中的代码,一般情况下包括:

技术分享
        Configuration conf = new Configuration();
        //获取输入输出文件路径
        String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();
        if(otherArgs.length != 2){
            System.err.println("Usage WordCount <int> <out>");
            System.exit(2);
        }
        Job job = new Job(conf,"Dedup");
        job.setJarByClass(Dedup.class);          //主类                                      
        job.setMapperClass(Map.class);           //map类
        job.setCombinerClass(Reduce.class);  //job合成类
        job.setReducerClass(Reduce.class);    //reduce类
        job.setOutputKeyClass(Text.class);      //设置job输出数据的key类
        job.setOutputValueClass(Text.class);   //设置job输出数据的value类
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));     //文件输入
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); //文件输出
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
技术分享

其实这里还包括一个maprecude最小驱动即之调用MiniMapReduceDriver类,

        Job job = new Job(conf,"Dedup");
        job.setJarByClass(Dedup.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);

4、InputFormat接口

  InputFormat类的层次结构如下所示。TextInputFormat是InputFormat的默认实现方式,对输入数据中没有明确key-value时很有效,其返回的key表示这行数据的偏移量,value为行的内容。

技术分享

5、InputSplit类

  默认情况下,FileInputFormat及其子类以64MB(建议Split大小与此相同)为基数拆分文件。通过以块形式处理文件,可以让多个Map任务并行地操作一个文件。对于大文件,就会极大提升性能。map的输入是一个个的输入分片,即为InputSplits。

  InputSplit的子类有FileSplit和CombineFileSplit。两者均包含文件路径、分片开始位置、分片大小、存储分片数据的host列表。但CombineFileSplit是针对小文件,其将很多小文件包在一个InputSplit内,这样就能处理很多小文件了。

  针对某些文件不可切分,则可通过两种方式完成,第一种为将文件最小分片大小设置为大于文件大小,第二种方法为使用FileInputFormat的子类,并重载isSplitable方法,把返回值设置为false。

6、RecordReader类

  InputSplit定义了如何切分工作,RecordReader类则定义了如何加载数据并转换为适合map方法读取的key-value对。其默认输入格式为TextInputFormat。

7、OutputFormat类

  与InputFormat相似,其大多数继承自FileOutFormat,但NullOutputFormat和DBOutputFormat除外。其默认格式为TextOutputFormat。OutputFormat提供了对RecordWriter的实现,从而指定如何序列化数据。RecordWriter类可以处理包含单个键值对的作业,并将结果写入OutputFormat已准备好的位子中。RecordWriter主要通过write和close两个函数实现。write函数从MapReduce作业中取出键值对,并将其字节写入磁盘。close函数会关闭hadoop到输出文件的数据流。

  OutputFormat的层次结构图如下:

技术分享

8、RecordWriter类

  LineRecordWriter是默认使用的RecordWriter,写入内容包括:key的字节,一个用以定界的制表符,value的字节,一个换行符。

mapreduce程序调用各个类的功能

标签:

原文地址:http://www.cnblogs.com/cxzdy/p/5097451.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!