写在前面 首先我们来看看需求，以下是某博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（好友关系是单向的）： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A, ...
分类：
其他好文 时间：
2020-09-10 22:33:47
阅读次数：
36
今日内容:1) hive的自定义函数 (简单会实现即可)2) hive优化部分: 能够理解, 知道有这些优化方案 , 记录 2.1: hive的数据压缩 2.2: hive的数据存储格式 2.3: fetch抓取 2.4: 本地模式 2.5: join的优化 2.6: SQL优化的方案 2.7: 动 ...
分类：
其他好文 时间：
2020-08-10 09:24:13
阅读次数：
57
一、概念 Reduce Join工作原理 1、Map端的主要工作是：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 2、Reduce端的主要工作是：在Reduce端以连接字段作为key的分组已经完成， ...
分类：
其他好文 时间：
2020-08-01 21:35:36
阅读次数：
104
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
7 Combiner合并 （6）自定义Combiner实现步骤 （a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritabl ...
分类：
其他好文 时间：
2020-07-19 23:19:55
阅读次数：
69
安装react-redux cnpm i react-redux 文件目录 定义store文件 1 index.js文件： 2 3 import { createStore } from 'redux'; 4 import reducer from './reducer'; 5 const stor ...
分类：
其他好文 时间：
2020-07-12 01:17:07
阅读次数：
80
下载 redux 插件(异步中间件) npm install --save redux-thunk redux/store.js /* redux 最核心的管理对象 store */ import {createStore, applyMiddleware} from 'redux' import ...
分类：
其他好文 时间：
2020-07-10 09:50:33
阅读次数：
77
什么是reducer reducer 就是?个纯函数，接收旧的 state 和 action，返回新的 state。 (previousState, action) => newState 之所以将这样的函数称之为 reducer，是因为这种函数与被传? Array.prototype.reduce ...
分类：
其他好文 时间：
2020-06-28 20:33:35
阅读次数：
37
React (redux) redux 公共状态管理 数据传递的流程 1、当组件需要修改数据的时候必须创建一个action,然后通过store.dispacth将action传递给store,store接收到action后将action传递给reducer，reducer接收到action后将act ...
分类：
其他好文 时间：
2020-06-17 10:49:09
阅读次数：
50
1.Array.map() 此方法是将数组中的每个元素调用一个提供的函数，结果作为一个新的数组返回，并没有改变原来的数组 let arr = [1, 2, 3, 4, 5] let newArr = arr.map(x => x*2) //arr= [1, 2, 3, 4, 5] 原数组保持不变 / ...
分类：
Web程序 时间：
2020-05-29 19:37:15
阅读次数：
72
