MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 MapReduce的工作原理 在分布式计算中，MapReduce框架负责处理了 ...
分类：
其他好文 时间：
2019-09-02 19:15:30
阅读次数：
69
一、分治策略 “分而治之”，大问题能够拆成相似的小问题，记住这些小问题需要具有相似性。而后将小问题的每个解合成为大问题的解。所以说大问题如何拆，小问题如何合并才是这个算法最主要的一个思想。实际上很多算法如贪心算法，动态规划等等都是要求把大问题拆成小问题。而分治算法的重要一点就是要适用于能够重新把小问 ...
分类：
编程语言 时间：
2019-08-27 23:22:51
阅读次数：
108
结合自己的一些成长经历以及痛的领悟，笔者想到了职场生存进阶的七种武器，携带这些武器往往能在职场求仁得仁，一路开挂走上人生巅峰。 ...
分类：
其他好文 时间：
2019-08-20 01:16:42
阅读次数：
106
原文: http://blog.gqylpy.com/gqy/347 "首先，归并排序使用了二分法，归根到底的思想还是分而治之。拿到一个长数组，将其不停的分为左边和右边两份，然后以此递归分下去。然后再将它们按照两个有序数组的样子合并起来。这样说起来可能很难理解，所以 图就来了： 归并排序将数组以中间 ...
分类：
编程语言 时间：
2019-08-18 17:38:44
阅读次数：
66
问题: 小 A 的楼房外有一大片施工工地，工地上有 N 栋待建的楼房。每天，这片工地上的房子拆了又建、建了又拆。他经常无聊地看着窗外发呆，数自己能够看到多少栋房子。 为了简化问题，我们考虑这些事件发生在一个二维平面上。小 AA 在平面上 (0,0) 点的位置，第 ii 栋楼房可以用一条连接 (i,0 ...
分类：
其他好文 时间：
2019-08-17 23:57:49
阅读次数：
209
归并排序 归并排序采用分而治之的原理： - 将一个序列从中间位置分成两个序列； - 在将这两个子序列按照第一步继续二分下去； - 直到所有子序列的长度都为1，也就是不可以再二分截止。这时候再两两合并成一个有序序列即可。 下图中的倒数第三行表示为第一次合并后的数据。其中一组数据为 4 8 ， 5 7。 ...
分类：
编程语言 时间：
2019-08-17 09:12:55
阅读次数：
78
算法思想 取待排序元素的区间端点作为作为界值,然后通过交换使得待排序元素中所有大于界值的元素位于界值的一侧, 所有小于界值的元素位于界值的另一侧,然后在对界值左右两侧的待排序元素使用同样的方法进行排序,直到下一 次待排序区间只有一个元素时,则表示所有的元素排序完成,可以看出这种排序方式使用了分而治之 ...
分类：
编程语言 时间：
2019-08-13 15:39:29
阅读次数：
96
所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是 无法在较短时间内迅速解决 ，要么是数据太大，导致 无法一次性装入内存 。 处理海量数据的基本方法： 1. 分而治之/hash映射 + hash统计 + 堆/快速/归并排序； 2. 双层桶划分 3. ...
分类：
其他好文 时间：
2019-08-12 01:05:24
阅读次数：
104
▎什么是分治？ ?『定义』 分治，字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。在计算机科学中，分治法就是运用分治思想的一种很重要的算法。分治法是很多高效算法的基础，如 ...
分类：
编程语言 时间：
2019-07-23 09:39:29
阅读次数：
125
第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
