调优手段 （1）利用列裁剪 当待查询的表字段较多时，选取需要使用的字段进行查询，避免直接select *出大表的所有字段，以免当使用Beeline查询时控制台输出缓冲区被大数据量撑爆。 （2）JOIN避免笛卡尔积 JOIN场景应严格避免出现笛卡尔积的情况。参与笛卡尔积JOIN的两个表，交叉关联后的数... ...
分类：
其他好文 时间：
2018-02-13 17:52:22
阅读次数：
189
ps: 最近在学react和redux。用了几天时间看了下，个人觉得react本身比较易懂，但是涉及到的各种中间件和api让人脑阔疼(正好前段时间用vue+koa写了个简易的博客，对中间件还算理解)。在看到redux的时候，被这个real world的栗子难住了(个人水平太low)还2天过年，心思也 ...
分类：
其他好文 时间：
2018-02-12 20:05:18
阅读次数：
131
hive.mapred.local.mem Mapper/Reducer 在本地模式的最大内存量，以字节为单位，0为不限制。 hive-default.xml ...
分类：
其他好文 时间：
2018-02-08 20:17:16
阅读次数：
256
1.关于MapReduce MapReduce是一种可用于数据处理的编程模型，能够支持java、Python、C++等语言。MapReduce程序本质上是并行运行的，因此可以处理大规模数据集，这也是它的优势。 2.使用hadoop分析数据 hadoop提供了并行处理，我们将查询表示成MapReduc ...
分类：
其他好文 时间：
2018-01-27 21:22:05
阅读次数：
200
1.MapReduce的特点 软件框架、并行处理、可靠且容错、大规模集群、海量数据集 2.mapper和reducer mapper负责“分”：把复杂的任务分解为若干个“简单的任务”来处理。简单的任务包含三层含义： （1）数据或计算的规模相对原任务要大大缩小； （2）就近计算原则，任务会分配到存放着 ...
分类：
其他好文 时间：
2018-01-27 21:18:29
阅读次数：
236
redux 是一个状态管理的库。 redux认为页面所有的变化，都是基于状态的改变触发的，所以我们维护一个应用的时候，都是在维护这些状态。而 redux 就是为了维护状态而生的。 API createStore( reducer, [initialState], enhancer ) 函数： 创建应 ...
分类：
其他好文 时间：
2018-01-17 18:23:31
阅读次数：
143
To make our composition more readable and easier to name we are going to ceate a compose function we can use to avoid having to manually nest our tran ...
分类：
编程语言 时间：
2018-01-17 00:25:45
阅读次数：
125
学习Hadoop 实现TF-IDF 算法，使用的是CDH5.13.1 VM版本，Hadoop用的是2.6.0的jar包，Maven中增加如下即可 代码如下: 整体实现算是比较简单，第一个MR计算idf，map是统计每个文档出现过的词，都记成1次，然后reducer统计所有的，这样就得到了每一个词的i ...
分类：
其他好文 时间：
2018-01-15 00:18:23
阅读次数：
254
总是听到有人说redux流程抽象，难度很高，看完官方文档表示，这就是一个典型用于快速开发的框架。理解：store是类似于数据库的东西，负责储存数据。action描述要对store做的事情是什么。reducer表示如何根据action的信息要怎么做的函数，dispatch执行它们。presentati ...
分类：
其他好文 时间：
2018-01-11 15:35:18
阅读次数：
183
├── src // Ract Native │ ├── app // redux部分 │ │ ├── actions // creat action │ │ ├── constants // constants │ │ ├── reducers // reducer │ │ ├── sagas / ...
分类：
其他好文 时间：
2018-01-09 18:36:15
阅读次数：
140
