面试公司: 一家中小型电商 面试中的问题: 思路不要太跳跃性, 不然容易尬。 引导的时候脑子需要快速运转该说什么。 自己熟的那块一定要准备充分答出百分之80以上。 排序算法, 选一个说: 建议快排, 归并, 面试前手写一下找找感觉。 挖坑桶排: 需要对难点做准备: 按照什么条件分桶? 空间利用率的优 ...
分类：
其他好文 时间：
2019-12-31 20:08:27
阅读次数：
108
在 hive 中分区表是很常用的，分桶表可能没那么常用，本文主讲分区表。 概念 分区表 在 hive 中，表是可以分区的，hive 表的每个区其实是对应 hdfs 上的一个文件夹； 可以通过多层文件夹的方式创建多层分区； 通过文件夹把数据分开 分桶表 分桶表中的每个桶对应 hdfs 上的一个文件； ...
分类：
其他好文 时间：
2019-11-02 16:14:57
阅读次数：
104
一、分桶及抽样查询 1、分桶表创建 hive (db_test)> create table stu_buck(id int,name string) > clustered by(id) > into 4 buckets > row format delimited fields terminat ...
分类：
其他好文 时间：
2019-10-03 14:47:39
阅读次数：
70
1.关于分区 2.同一份数据多种处理 3.分桶表数据存储 4.为表增加列 5.使用列式存储表 ...
分类：
其他好文 时间：
2019-08-21 21:51:01
阅读次数：
135
Hive sql是Hive 用户使用Hive的主要工具。Hive SQL是类似于ANSI SQL标准的SQL语言，但是两者有不完全相同。Hive SQL和Mysql的SQL方言最为接近，但是两者之间也存在着显著的差异，比如Hive不支持行级数据的插入、更新和删除，也不支持事务操作。 注: HIVE ...
分类：
数据库 时间：
2019-08-18 13:19:10
阅读次数：
196
先看下面es查询语句 得到的结果： 该索引下有2w多条数据，经过聚合分桶后，也绝对不仅仅只是10个bucket，很显然，这似乎不是我想要的结果，经过查官方API发现下面一段话： 意思就是说：在聚合中设置 size：0 在2.x之后已被弃用，建议为 size 明确设置合理的值，一个介于1到214748 ...
分类：
其他好文 时间：
2019-05-24 10:42:40
阅读次数：
1118
HashMap 技术点1 离散化hash 使用了简单的算法，用于让hash值更离散。 本质上是用hash值的前16位让hash值的后16位变得更加离散。 HashMap的本质是桶，所以对hash值进行处理会有助于在分桶的时候变得更加均匀。 技术点2 初始容量 初始容量通过配置的初始大小和负载因子决定 ...
分类：
编程语言 时间：
2019-03-29 11:40:34
阅读次数：
155
2019/2/21星期四hive高级操作（优化，数据倾斜优化）分区表/桶表应用，skew，map-join//见hive的基本语法行列转换hive优化hive优化思想Explain的使用经典案例(distinctcount)数据倾斜的原因操作：关键词情形后果1、Join其中一个表较小，但是key集中分发到某一个或几个Reduce上的数据远高于平均值；2、大表与大表，但是分桶的判断字段0值或空值过多
分类：
其他好文 时间：
2019-02-21 10:59:46
阅读次数：
205
1057 Stack （30 分） Stack is one of the most fundamental data structures, which is based on the principle of Last In First Out (LIFO). The basic operati ...
分类：
其他好文 时间：
2019-01-27 19:03:31
阅读次数：
242
