MapReduce没有输出，得到一个空的文件夹 1. Map输出类型和Reducer的输入类型对不上 2. myMapper和myReducer类不是static的，这样在主方法中使用myReducer.class就有问题 将数据放入集合总会放入同一个引用问题 在reduce()方法中直接将key和 ...
分类：
其他好文 时间：
2020-05-24 12:05:23
阅读次数：
68
import { createStore, compose, combineReducers, applyMiddleware } from 'redux' import promise from 'redux-promise' import thunk from 'redux-thunk' imp ...
分类：
其他好文 时间：
2020-05-13 10:21:52
阅读次数：
52
应用中所有的 state 都以一个对象树的形式储存在一个单一的 store 中，store接收reducer作为参数，store通过API(如dispatch)来接受action来调用reduce；惟一改变 state 的办法是触发 action (描述如何处理state的对象)；为了实现根据 ac ...
分类：
其他好文 时间：
2020-05-11 13:15:51
阅读次数：
49
一、Hive-sql优化 #增加reducer任务数量（拉取数量分流） set mapred.reduce.tasks=20; #在同一个sql中的不同的job是否可以同时运行,默认为false set hive.exec.parallel=true; #增加同一个sql允许并行任务的最大线程数 s ...
分类：
数据库 时间：
2020-05-11 01:21:52
阅读次数：
80
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文是漫谈系列的第二篇，将从源码入手，带领大家具体剖析Alink是如何设计的，其架构如何。 ...
分类：
其他好文 时间：
2020-05-10 10:46:37
阅读次数：
68
1 State——状态： 2 Action——事件 Action是把数据从组件传递到Store的载体，它是store数据的唯一来源，一般来说，我们可以通过store.despach()将action传递给store action的特点： 3 Reducer 本质就是一个函数，它用来响应发送过来的ac ...
分类：
其他好文 时间：
2020-04-28 23:27:50
阅读次数：
118
Hive排序 一、全局排序（order by） Order by：全局排序，只有一个reducer 1、使用 Order by 子句排序 升序：ASC，可以不写，默认是升序 降序：DESC，降序 2、order by 语句使用在select语句的结尾 3、案例实操 -- （1） 查询员工信息按工资升 ...
分类：
编程语言 时间：
2020-04-24 14:38:20
阅读次数：
75
概述Combinar继承了`Reducer`, 可选过程, 在map端的实现分组(是在map端运行的reduce), 减小网络IO传输; 使用Combiner需要满足的条件Combiner不能影响最终计算结果例如求平均值就不能使用Combiner输出k-v类型必须与map输出一致自定义过程1. 继承... ...
分类：
其他好文 时间：
2020-04-19 13:09:31
阅读次数：
92
问题：如果在 shuffle 的时候没有指定 reduce 的个数，那么会有多少个 reduce？ 如果不指定 reduce 个数的话，就按默认的走： 1、如果自定义了分区函数 partitioner 的话，就按你的分区函数来走。 2、如果没有定义，那么如果设置了 spark.default.par ...
分类：
其他好文 时间：
2020-04-17 12:23:45
阅读次数：
70
redux源码 redux的源码很简单，分为以下几部分 createStore combineReducers applyMiddleware compose bindActionCreators createStore即入口函数生成store，将reducer和middleware关联起来 com ...
分类：
其他好文 时间：
2020-04-12 20:41:59
阅读次数：
68
