Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
1.需求 推荐好友的好友 图1： 2.解决思路 3.代码 3.1MyFoF类代码 说明： 该类定义了所加载的配置，以及执行的map，reduce程序所需要加载运行的类 3.2FMapper类代码 说明： 该类的作用是编写map阶段的代码，对文本数据做一个预处理，按照规划比较每组的kv 做比较，这里面 ...
分类：
其他好文 时间：
2019-01-01 00:17:48
阅读次数：
164
flink迭代机制 Iterate： 普通迭代 ，实现逻辑在Step 函数中， Step的输入是初始的整个数据集， 或者是上一轮迭代的结果。Step函数包含 map、reduce，join等运算组成。例子： 输入为1到5的数字， Step函数为 output = input.map(_ + 1), ...
分类：
其他好文 时间：
2018-12-26 13:33:31
阅读次数：
120
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能 ...
分类：
其他好文 时间：
2018-12-23 22:15:11
阅读次数：
210
Python内建了map()和reduce()函数。 原文在这里MapReduce: Simplified Data Processing on Large Clusters,map/reduce的概念。 我们先看map。map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的 ...
分类：
编程语言 时间：
2018-12-22 18:27:18
阅读次数：
255
Contents 1. 目标 2. 命令式编程 & 函数式编程 3. Python函数式编程的基本单元 3.1. lambda 3.2. map() 3.3. reduce() 3.4. filter() 4. 替换条件控制语句 5. 替换循环控制语句 5.1. 替换for循环 5.2. 替换whi ...
分类：
编程语言 时间：
2018-12-12 00:19:05
阅读次数：
201
数据倾斜：就是大量的相同key被partition分配到一个分区里，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长， 这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的re ...
分类：
其他好文 时间：
2018-12-11 00:31:39
阅读次数：
163
[TOC] "原文地址https://docs.mongodb.com/manual/core/map reduce/" "Map Reduce 示例" Map reduce是一种数据处理范例，用于将大量数据压缩为有用的聚合结果。 对于map reduce操作，MongoDB提供了 "mapRedu ...
分类：
数据库 时间：
2018-12-10 18:01:48
阅读次数：
187
1 . 谈谈数据倾斜，它如何发生的，并给出优化方案! 首先谈一下什么是数据倾斜? 答：map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长。 现象是 : 进度长时间维持在99%（或100%），查看任务监控页面，发现只 ...
分类：
其他好文 时间：
2018-12-09 19:59:33
阅读次数：
230
1 . 谈谈数据倾斜，它如何发生的，并给出优化方案! 首先谈一下什么是数据倾斜? 答：map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长。现象是 : 进度长时间维持在99%（或100%），查看任务监控页面，发现只有 ...
分类：
其他好文 时间：
2018-12-09 12:09:47
阅读次数：
191
