一、标题 这是一级标题 这是二级标题 这是三级标题 这是四级标题 这是五级标题 这是六级标题 语法如下： 二、字体 这是加粗的文字 这是倾斜的文字 ` 这是斜体加粗的文字 ~~这是加删除线的文字~~ 语法如下： 这是加粗的文字 这是倾斜的文字 ` 这是斜体加粗的文字 ~~这是加删除线的文字~~ 这是 ...
分类：
其他好文 时间：
2019-11-22 11:57:15
阅读次数：
67
数据层面： 过抽样 直接复制，即不断复制类别样本数少的类别样本。 插值法：通过对样本归一化，采样，求得样本分布，极值，均值等，然后根据样本分布，极值，均值来生成新样本来扩充样本数目。 欠抽样: 直接删除,随机减少多数类样本的数量。 算法层面： Weighted loss function，一个处理非 ...
分类：
其他好文 时间：
2019-11-21 22:39:49
阅读次数：
134
1）MapJoin如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤列处理 ...
分类：
其他好文 时间：
2019-11-20 22:04:02
阅读次数：
119
AVL树第一部分，（插入） AVL树是一种自平衡二叉搜索树(BST)，其中对于所有节点，左右子树的高度差不能超过1。 一个AVL树的示例 上面的树是AVL树，因为每个节点的左子树和右子树的高度之间的差小于或等于1。 一个非AVL树的示例 上面的树不是AVL树，因为 8 和 18 的左子树和右子树之间 ...
分类：
编程语言 时间：
2019-11-19 12:22:42
阅读次数：
70
Hive数据倾斜 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜 解决方法 hive设置hive.map.aggr=true和hive.groupby.skewindata=true 还有其他解决方案 Hive内部表和外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路 ...
分类：
其他好文 时间：
2019-11-17 10:23:34
阅读次数：
94
css文本设置 常用的应用文本的css样式： color 设置文字的颜色，如： color:red; font-size 设置文字的大小，如：font-size:12px; font-family 设置文字的字体，如：font-family:'微软雅黑'; font-style 设置字体是否倾斜，如 ...
分类：
Web程序 时间：
2019-11-13 01:02:25
阅读次数：
99
已知椭圆$\mathit{\Gamma}: \dfrac{x^2}{4}+\dfrac{y^2}{2}=1$,过点$P(1,1)$作倾斜角互补的两条不同直线$l_1,l_2$,设$l_1$与椭圆$\mathit{\Gamma}$交于$A,B$两点,$l_2$与椭圆$\mathit{\Gamma}$交 ...
分类：
其他好文 时间：
2019-11-09 20:00:47
阅读次数：
82
来源：https://www.cnblogs.com/gala1021/p/8552302.html 侵删 什么是数据倾斜 简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。 相信 ...
分类：
其他好文 时间：
2019-11-04 18:06:50
阅读次数：
137
原文地址：https://www.cnblogs.com/Johnny-z6951/p/11201081.html 梯度下降是一个在机器学习中用于寻找较佳结果（曲线的最小值）的迭代优化算法。梯度的含义是斜率或者斜坡的倾斜度。下降的含义是代价函数的下降。算法是迭代的，意思是需要多次使用算法获取结果，以 ...
分类：
其他好文 时间：
2019-10-26 21:22:47
阅读次数：
80
[TOC]一、MapReduce跑得慢的原因1）计算机性能?CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。二、优化方案?MapReduce优化方法主要从几
分类：
其他好文 时间：
2019-10-26 21:01:31
阅读次数：
169
