1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 job ...
分类：
其他好文 时间：
2019-03-15 17:26:05
阅读次数：
157
1. 二值化处理 将细粒度的度量转化成粗粒度的度量，使得特征的差异化更大。 2.特征多项式交互 捕获特征之间的相关性 3.数据分布倾斜的处理 log变化：log变化倾向于拉高那些落在较低的幅度范围内自变量的取值，压缩那些落在较高的幅度范围内自变量的取值，log变化能够稳定数据的方差，使数据的分布接近 ...
分类：
其他好文 时间：
2019-03-06 20:46:42
阅读次数：
305
1.echarts中，横轴数据如果非常多，会自动隐藏一部分数据，我们可以通过属性interval来进行调整。如果我们想显示全，则需要在xAxis 属性加上axisLabel:{interval: 0} 2.echarts中，横轴数据倾斜展示，垂直展示分别为： 3.echarts中，y轴显示文字怎么设 ...
分类：
其他好文 时间：
2019-03-04 19:27:33
阅读次数：
153
解决方案二1. 增加reduce 的jvm内存2. 增加reduce 个数3. customer partition4. 其他优化的讨论.5. reduce sort merge排序算法的讨论6. 正在实现中的hive skewed join.7. pipeline8. distinct9. ind ...
分类：
其他好文 时间：
2019-03-01 12:26:20
阅读次数：
279
2019/2/21星期四hive高级操作（优化，数据倾斜优化）分区表/桶表应用，skew，map-join//见hive的基本语法行列转换hive优化hive优化思想Explain的使用经典案例(distinctcount)数据倾斜的原因操作：关键词情形后果1、Join其中一个表较小，但是key集中分发到某一个或几个Reduce上的数据远高于平均值；2、大表与大表，但是分桶的判断字段0值或空值过多
分类：
其他好文 时间：
2019-02-21 10:59:46
阅读次数：
205
第6章 Hadoop企业优化（重中之重）6.1 MapReduce 跑的慢的原因6.2 MapReduce优化方法6.2.1 数据输入6.2.2 Map阶段6.2.3 Reduce阶段6.2.4 I/O传输6.2.5 数据倾斜问题6.2.6 常用的调优参数6.3 HDFS小文件优化方法6.3.1 H ...
分类：
其他好文 时间：
2019-02-21 00:11:15
阅读次数：
172
HashMapJDK1.7和1.8中关于对HashMap的实现，有了一些变化，其中很重要的一个变化，就是在解决Hash冲突的时候，存储数据结构有所调整。1.7版本：主要实现方式：通过数组+链表的方式实现。当hash冲突的时候，使用链表来解决冲突。但是当hash不均匀的时候，可能会导致数据倾斜到某个数组槽位。那么对集合的更新、查找操作最后转变为线性查找，失去了hash查找的特性。//使用数组式的链表
分类：
其他好文 时间：
2019-01-29 18:13:02
阅读次数：
179
1.hive的数据倾斜 介绍：只要在分布式一定有shuffle，避免不了出现数据倾斜，在混淆数据的过程中出现数据分布不均匀。比如：在MR编程中reducetask阶中的数据的大小不一致，即很多的数据集中到了一个reducetask中，hive的数据倾斜就是mapreduce的数据倾斜maptaskreducetask最后就是reducetask阶段的数据倾斜。 不会产生数据倾斜
分类：
其他好文 时间：
2019-01-14 21:23:35
阅读次数：
331
（1）数据倾斜的介绍 1）数据分区的策略： -随机分区：每一个数据分配的任意一个分区的概率是均等的 -Hash分区：使用数据的Hash分区值，%分区数。（导致数据倾斜的原因） -范围分区：将数据范围划分，数据分配到不同的范围中（分布式的全局
分类：
其他好文 时间：
2019-01-04 12:26:40
阅读次数：
199
数据倾斜 数据倾斜概念 在做计算的时候，数据的分散度不够(数据的Key分布不均)，导致数据分布在一台或几台机器计算 症状：典型的现象就是数据reduce到99%很久不动了 数据倾斜原因 总原因：key分布不均 业务数据的特点（数据的幂律分布） 人为建表的疏忽 join、group by、count ...
分类：
其他好文 时间：
2018-12-22 22:41:16
阅读次数：
242
