MapReduce既是一个编程模型，也是一个计算组件，处理的过程分为两个阶段，Map阶段：负责把任务分解为多个小任务，Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value，经过map计算后输出一对Key-Value值；然后将相同Key合并，形成Key-Value集合；再将这个Key-Value集合转入Reduce阶段，经过计算输出最终Key-Value结果集。
分类：
其他好文 时间：
2020-11-26 14:53:23
阅读次数：
6
01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习，Hadoop包含三个模块，这次先分享出Hadoop中的HDFS模块的基础知识点，也算是对今天复习的内容进行一次总结，希望能够给想学大数据的同学一点帮助，也希望能够得到大佬们的批评和指点！（每个点都很重要，都不能忽视） 02 需谨记 ...
分类：
其他好文 时间：
2020-11-23 12:18:23
阅读次数：
6
漫画：什么是MapReduce？点击上方“程序员小灰”，选择“置顶公众号”有趣有内涵的文章第一时间送达！—————第二天—————————————————什么是MapReduce？MapReduce是一种编程模型，其理论来自Google公司发表的三篇论文（MapReduce，BigTable，GFS）之一，主要应用于海量数据的并行计算。MapReduce可以分成Map和Reduce两部分理解。1.
分类：
其他好文 时间：
2020-11-20 11:20:39
阅读次数：
5
添加/删除元素： push(...items) 从结尾添加元素pop() 从结尾删除元素shift() 从开头删除元素unshift(...items) 从开头添加元素splice(pos,deeteCount,...items) 从index开始，删除deleteCount元素并在当前位置插入元素 ...
分类：
编程语言 时间：
2020-11-18 12:30:07
阅读次数：
6
《TopK到底怎么答？》介绍了TopK的四种解法，其中随机选择(randomizedselect)最为经典，用减治法(Reduce&Conquer)的思想，将数据规模急速降低，总体复杂度为O(n)。结尾挖了一个坑：求TopK，有没有比随机选择更快的方法呢？空间换时间，是算法优化中最常见的手段，如果有相对充裕的内存，可以有更快的算法。画外音：即使内存不够，也可以水平切分，使用分段的方法来操作
分类：
其他好文 时间：
2020-11-17 12:08:41
阅读次数：
5
forEach()、map()、filter()、find()、reduce()、some()、every() 它们都自带遍历（只要调用这个方法就会自动循环数组中的每一项） 它们都不会改变原数组，调用方法后产生的结果在返回值中 它们的参数都是一个函数，这个函数都有三个参数（只有第一个“项”是必填的） ...
分类：
编程语言 时间：
2020-11-16 13:15:51
阅读次数：
10
1.词频统计 a.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 b.编写map与reduce函数 c.本地测试map和reduce d.将文本数据上传到HDFS上 e.用hadoop streaming提交任务 f.查看运行结果 g.计算结果取回本地 ...
分类：
其他好文 时间：
2020-11-07 16:36:45
阅读次数：
33
1.下载喜欢的电子书或大量文本数据，并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:32:22
阅读次数：
17
1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:17:20
阅读次数：
18
明确目的（本章知识点） 什么是高阶函数 实例-方便理解函数是如何作为参数或者返回值的 函数作为参数的场景 函数作为返回值的场景 函数即作为参数又作为返回值的场景 python内置3个高阶函数-map、filter、reduce 模拟教学（尝试讲清楚） 1、什么是高阶函数 有一个函数，它的参数是函数 ...
分类：
其他好文 时间：
2020-11-06 02:30:21
阅读次数：
21
