基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计

时间：2014-10-06 13:19:00 阅读：127 评论：0 收藏：0 [点我收藏+]

   基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计

    map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce

    基于map/reduce的思路，我们可以设计基于hadoop(map/reduce)的大规模分布式并行计算生产排程系统，怎么样把大数据处理变成大规模分布式并行计算呢，就是我们不切分数据，每个map任务的数据都是相同的，每个map任务对排程数据计算指定次数（比如1千次），然后将得到的最优结果汇总到reduce,reduce从这些中间的最优结果中选出最优结果，做为新的数据传递给map任务，开始下一轮的计算和汇总

    由于hadoop是充分成熟的技术，能在数以千计的服务器或数千个cpu的数据处理系统上高效稳定的运行，完全支持云计算平台，基于hadoop下(map/reduce)技术设计大规模分布式并行计算生产排程系统或者其他类似的并行优化计算系统，将成为最佳的选择

标签：hadoop mapreduce 分布式并行计算生产排程

原文地址：http://blog.csdn.net/lijianhua1974/article/details/39827031

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行