分区的原因 方便在集群中扩展 可以提高并发 生产者分区原则 有partition，直接用 有key，用key.hash%partition.length 无，随机生成整数M，用n*M%partition.length ProducerRecord(String topic,int partition ...
分类：
其他好文 时间：
2020-06-30 13:06:23
阅读次数：
51
一. 建表，导数据 1. 创建库 create database gmall; 2. 创建表start_log，ods层表 drop table if exists ods_start_log; CREATE EXTERNAL TABLE ods_start_log (`line` string) ...
分类：
其他好文 时间：
2020-06-29 15:46:05
阅读次数：
62
pg9.6 或 pg10 在Windows Server 2012 R2 DataCenter 中使用。 使用如下建库语句，建库时 CREATE DATABASE upmap WITH OWNER = postgres ENCODING = 'UTF8' LC_COLLATE = 'Chinese ...
分类：
编程语言 时间：
2020-06-29 15:32:01
阅读次数：
407
NoSql 数据存储-Redis CAP CAP原则又称CAP定理，指的是在一个分布式系统中，一致性（Consistency）、高可用性（Availability）、分区容错性（Partition tolerance）。CAP 原则指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。 比如在我们 ...
分类：
其他好文 时间：
2020-06-26 20:37:45
阅读次数：
53
1. order by，sort by，distribute by，cluster by的区别？ 2. 聚合函数是否可以写在order by后面，为什么？ 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 ...
分类：
其他好文 时间：
2020-06-26 18:42:15
阅读次数：
58
ROW_NUMBER() OVER(PARTITION BY ... ORDER BY ...)RANK() OVER(PARTITION BY ... ORDER BY ...)DENSE_RANK() OVER(PARTITION BY ... ORDER BY ...)COUNT() OVER ...
分类：
其他好文 时间：
2020-06-26 13:07:50
阅读次数：
87
开窗函数的理解参见: 理解hive中的开窗函数 over()中除了可以使用partition by选择分组字段外, 还有以下函数 order by 排序 指定聚合行的范围, 配合order by使用 current row： 当前行 n PRECEDING： 往前 n 行数据 n FOLLOWING... ...
分类：
其他好文 时间：
2020-06-25 21:54:18
阅读次数：
76
题目一： 我们有如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 u02 2017 ...
分类：
其他好文 时间：
2020-06-25 21:23:41
阅读次数：
87
快速排序： void QuickSort(vector<int>& nums, int lo, int hi){ if(lo < hi){ int p = partition(nums,lo,hi); QuickSort(nums,lo,p-1); QuickSort(nums,p+1,hi); } ...
分类：
编程语言 时间：
2020-06-24 21:26:07
阅读次数：
53
StatefulSet cattle: 关注群体 pet: 关注个体 特性: 1. 稳定且需要有唯一的网络标识符; 2. 稳定且持久的存储设备; 3. 有序、平滑的部署和扩展; 4. 有序、平滑的终止和删除; 5. 有序的滚动更新;StatefulSet必备的三个组件： 1. headless Se ...
分类：
Web程序 时间：
2020-06-23 15:12:44
阅读次数：
69
