以...为例 let arr = [1,2,3,4] let Arr = [ {id: 0, name: '小明' }, {id: 1, name: '小白' }, {id: 2, name: '小红' }, {id: 3, name: '小新' } ] for for (let i = 0; i ...
分类：
编程语言 时间：
2019-12-03 01:24:59
阅读次数：
102
1）MapJoin如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤列处理 ...
分类：
其他好文 时间：
2019-11-20 22:04:02
阅读次数：
119
1、回顾 cnpm i redux react redux redux thunk S store/index.js src/index.js src/views/home/index.jsx + UI.jsx 2、redux 分模块 2.1 分页面创建页面需要的状态，以首页为例 views/hom ...
分类：
其他好文 时间：
2019-11-20 21:28:41
阅读次数：
85
1. 什么是Flink? 1.1 4代大数据计算引擎 第一代: MapReducer 批处理 Mapper, Reducer Hadoop的MapReducer将计算分为两个阶段, 分别为Map和Reducer. 对于上层应用来说, 就不得不想方设法去拆分算法, 甚至于不得不在上层应用实现多个Job ...
分类：
其他好文 时间：
2019-11-17 17:29:10
阅读次数：
62
两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article/11325 视频： video/3235 （2）第二阶段：根据提取出来的信息做精细化 ...
分类：
其他好文 时间：
2019-11-15 09:35:46
阅读次数：
121
1、定长数组Array scala> val a = new Array[Int](10)a: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0) Int类型的数组的默认值是0 scala> val a = new Array[String](10)a: ...
分类：
编程语言 时间：
2019-11-08 20:56:33
阅读次数：
81
我们要自定义输出时，首先继承两个抽象类，一个是OutputFormat，一个是RecordWriter。前者是主要是创建RecordWriter，后者就是主要实现write方法来将kv写入文件。1、需求将reduce输出的KV中，如果key中包含特定字符串，则将其输出到一个文件中，剩下的KV则输出到另外的文件中。2、源码源数据http://cn.bing.comhttp://www.baidu.c
分类：
其他好文 时间：
2019-10-25 10:00:11
阅读次数：
80
Spark Streaming 导读 介绍 入门 原理 操作 Table of Contents 1. Spark Streaming 介绍 2. Spark Streaming 入门 2. 原理 3. 操作 导读 介绍 入门 原理 操作 导读 介绍 入门 原理 操作 导读 介绍 入门 原理 操作 ...
分类：
其他好文 时间：
2019-10-13 15:05:57
阅读次数：
90
注，reduce之前已经shuff。 mapper.py reducer.py Improved Mapper and Reducer code: using Python iterators and generators mapper.py reducer.py ...
分类：
移动开发 时间：
2019-10-03 14:39:29
阅读次数：
206
项目小的时候我们getState()进行管理数据，只有当数据庞大的时候我们采用Redux来进行管理。 Redux： ①：它是专注于状态管理的库，和React是解耦的 ②：它是单向数据流，单一的状态 ③：存在四个核心概念：store、state、action、reducer Redux的主要功能是： ...
分类：
其他好文 时间：
2019-09-26 21:33:10
阅读次数：
106
