一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和 ...
分类：
其他好文 时间：
2019-04-08 10:38:13
阅读次数：
231
待计算的wordCount文件放在HDFS上。 wc.txt： 目标：进行WordCount计算，把结果输出到HBase表中 1.先在HBase中创建表wc 2. WCRunner.class 3. Mapper 4. Reducer 5. Eclipse Console输出 SLF4J: Clas ...
分类：
其他好文 时间：
2019-04-07 09:33:44
阅读次数：
162
准备三份数据 定义Mapper类 定义Reducer类 编写Driver类 输出结果part r 00000 ...
分类：
其他好文 时间：
2019-04-06 20:24:55
阅读次数：
159
自定义Mapper实现 自定义Reducer实现 编写Driver类 本地测试开发 上面使用的都是基于 的，那么如何使用本地呢？ 强烈建议 使用 进行测试和开发,非常高效,Debug也很方便。 代码升级 使用代码,删除 的output目录 map端聚合 处理逻辑和Reducer完全一模一样, 即可！ ...
分类：
其他好文 时间：
2019-04-03 12:36:05
阅读次数：
167
前端请求流程 在 Ant Design Pro 中，一个完整的前端 UI 交互到服务端处理流程是这样的： UI 组件交互操作； 调用 model 的 effect； 调用统一管理的 service 请求函数； 使用封装的 request.js 发送请求； 获取服务端返回； 然后调用 reducer ...
分类：
其他好文 时间：
2019-03-30 01:13:02
阅读次数：
734
一、shuffle机制概述 shuffle机制就是发生在MR程序中，Mapper之后，Reducer之前的一系列分区排序的操作。shuffle的作用是为了保证Reducer收到的数据都是按键排序的。 二、shuffle机制的流程 还是按照上个随笔MR整体流程的需求来做参考： 1.Mapper中con ...
分类：
其他好文 时间：
2019-03-29 09:15:54
阅读次数：
178
如果我们想使用redux，第一步需要通过 yarn add redux 来安装redux 安装成功后就需要去创建一个store，怎么创建呢，非常的简单，在src下面创建一个文件夹，这个文件夹名字就叫做store，里面有个index.js，reducer.js index.js import { cr ...
分类：
其他好文 时间：
2019-03-17 10:40:56
阅读次数：
208
我们应该都清楚order by 的含义： 根据某个字段对输出的数据排序，因为只有一个reducer，所以查询效率较慢。 那么hive中，另外两个排序，distribute by和cluster by的含义是什么呢？ distribute by 分区排序 直接上例子，hive中有张工资表：salary ...
分类：
其他好文 时间：
2019-03-03 17:42:12
阅读次数：
242
Redux 是一个很棒的用于管理应用程序“状态”的工具。单向数据流以及对不可变数据的关注使得推断状态的变化变得很简单。每次状态变化都由一个 action 触发，这会导致 reducer 函数返回一个变更后的新状态。由于客户要在我们的平台上管理或发布广告资源，在 AppNexus 使用 Redux 创 ...
分类：
其他好文 时间：
2019-02-13 14:24:46
阅读次数：
200
Extracting away the implementation details of ngrx from your components using the facade pattern creates some interesting possibilities in terms of it ...
分类：
移动开发 时间：
2019-01-31 01:26:33
阅读次数：
151
