知识点： 格式转换：cast（xxx as int） 按某列分桶某列排序，排序后打标机；例如：求每个地区工资最高的那个人的信息； ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) row_number() over(distribute b ...
分类：
其他好文 时间：
2018-12-22 21:58:33
阅读次数：
365
一、Hive简介 Hive架构 二、Hive安装 三、Hive数据类型 附件1：数据员工表 emp.txt 四、DML数据操作 附件2：数据部门表 dept.txt 五、查询与函数 六、join和分桶 附件3：数据地址表 location.txt 附件4：数据分桶数据表 emp_b.txt 七、Hi ...
分类：
其他好文 时间：
2018-11-25 20:14:37
阅读次数：
198
一、有序集合求交集的方法有 a）二重for循环法，时间复杂度O(n*n) b）拉链法，时间复杂度O(n) c）水平分桶，多线程并行 d）bitmap，大大提高运算并行度，时间复杂度O(n) e）跳表，时间复杂度为O(log(n)) 以下是方法的具体介绍： 方案一：for * for，土办法，时间复杂 ...
分类：
其他好文 时间：
2018-11-24 19:02:01
阅读次数：
231
一，DDL操作 1，创建表 创建内部表 创建内部表 创建分区表 分表就是在加入数据前，对表进行相应需求的分开存储。 创建分桶表 分桶就是在输入数据后，把表按照属性的一致性进行整合。 对于每一个表或者是分区，Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive是针对某一列进行分桶 ...
分类：
其他好文 时间：
2018-10-23 23:04:24
阅读次数：
184
含义：实质是将数据分成不同的文件。hive中的分桶和hadoop中的reduce个数相同。 首先设置采用分桶： hive>set hive.enforce.bucketing=true; hive>create table buckets_users(id int,name string) clus ...
分类：
其他好文 时间：
2018-08-14 14:24:55
阅读次数：
177
表格创建： 语法 说明 上述的建表语法，有些语法笔者不是很懂，希望各位不吝赐教。 常见例子： 例子一 例子二 struct 使用 以下是truncate 用来进行表格的清空 一个有用的数据清空工具 删除表格 修改表 重命名表 改变表格属性 改变表格评论 对表格进行分桶 添加分区 重命名分区 删除分区 ...
分类：
其他好文 时间：
2018-07-24 19:59:29
阅读次数：
194
题意略。 思路： 将字符分桶，然后暴力去扫，扫完合并。假设有k个桶，每个桶里有n / k个数，那么我们应该要扫 n / (2 * k)次，每次的复杂度是k，最后算得复杂度是O(n)。 详见代码： ...
分类：
其他好文 时间：
2018-07-03 15:10:59
阅读次数：
104
1. 桶的概念： 对于每一个表（table）或者分区， Hive可以进一步组织成桶(没有分区能分桶吗？)，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。把表（或者分区）组织成桶（Bucket ...
分类：
其他好文 时间：
2018-06-19 14:02:56
阅读次数：
190
题目思路直接，用分桶法管理每一块的最大值和最小值就可以 #include<cstdio> #include<cmath> #include<iostream> #include<algorithm> #include<vector> #include<string> #include<map> #d ...
分类：
其他好文 时间：
2018-04-01 23:27:40
阅读次数：
300
第一次尝试分桶法，很不顺利，还是太菜了。基本上是借鉴别人的代码，不过还是有很多地方不太懂 ///分块思想本质是统计的方法 #include<cstdio> #include<algorithm> #include<vector> #include<iostream> #include<string> ...
分类：
其他好文 时间：
2018-04-01 11:46:52
阅读次数：
160
