标签：hadoop
Mapreduce 处理的数据必须具备的特点：
--待处理的数据可以分解成许多小的数据集，而且每个数据集都可以完全并行的处理
计算模型的核心部分是map和Reduce函数：
--这两个函数的功能由用户根据需要自己实现，只要能够按照用户自定义的规则，
将输入的键值对转换成另一批键值对输出即可
在map阶段，MapReduce框架将任务的输入数据分割成固定大小的片段，每个片段进一步分解成一批的键值对
Hadoop会为每个片段分map任务，把键值对作为输入，得到计算的中间结果<key,value>,然后再根据key进行
排序，将key值相同的value放到形成的一个列表中，组成一个元组<key,list(v2)>,最后再根据key值得规范，
将这些元组进行分组，对应不同的Reduce任务
在Reduce阶段，reduce把从不同Mapper接受来的数据进行整合排序，然后调用用户自定义的reduce函数对输入
的<key,list(v2)>进行计算，得到<key,value>输出到Hdfs上
1.任务的调度与执行
--MapReduce任务由JobTracker和TaskTracker两个节点控制完成，jobTracker主要是调度和管理Tasktarcker
，Map和Reduce任务是由JobTracker分配给空闲的TaskTracker,由TaskTracker复制这些任务的并行执行。TaskTracker
必须运行在DataNode上，所有DataNode是数据的存储节点也是数据的计算节点，JobTracker负责监控TaskTracker的任务
的运行情况，如果TaskTracker任务失败，Job会将任务重新分配给别的空闲的TaskTracker，如果JobTracker失败任务将
直接失败
2.本地计算
MapReduce框架尽最大努力保证在存储节点上执行计算任务，减少数据在网络中的传输
3.Shuffle过程
MapReduce会将Mapper的输出结果按照key值分成R份（R是预先定义的Reduce个数），划分时常使用hash函数例如，
Hash(key) mod R,这样可以保证某一个范围内的key一定由某个Reduce来处理，从而简化Redcue过程
4.合并Mapper的输出
5.读取中间结果
在完成Combine和Shuffle后，Mapper的输出结果将直接被写到本地磁盘，然后会告诉JobTracker中间结果的文件
位置，再有JobTracker告诉Reduce到哪个DataNode去读取中间结果
6.任务管道
本文出自 “落寞” 博客，请务必保留此出处http://qinheng.blog.51cto.com/8764944/1542286
标签：hadoop
原文地址：http://qinheng.blog.51cto.com/8764944/1542286
