/** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址，要重置的topic名称，消费组，以及partition个数 */public static void seekLatest(String broker, String topic, String group, i ...
分类：
其他好文 时间：
2020-04-03 18:28:01
阅读次数：
109
[TOC] 算法 时间复杂度 算法的时间复杂度是一个函数，它定量描述了该算法的运行时间，时间复杂度常用“O”表述，使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况 时间复杂度小结： 时间复杂度是用来估计算法运行时间的一个式子（单位） 一般来说，时间复杂度高的算法比复杂度 ...
分类：
编程语言 时间：
2020-04-02 18:16:04
阅读次数：
76
MySQL分区表概述 随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。在日常的工作中，我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件 ...
分类：
其他好文 时间：
2020-03-31 17:12:59
阅读次数：
78
1 void partition(int arr[], int l, int r, int num)//三路快排 2 { 3 int less = l - 1; 4 int more = r + 1; 5 int cur = 0; 6 while (cur < more) 7 { 8 if (arr ...
分类：
其他好文 时间：
2020-03-30 19:29:19
阅读次数：
67
https://blog.csdn.net/qq_28900249/article/details/90346599 1、为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰 解耦和扩展性 冗余 健壮性 异步通信 2、kafka的分区与消费者关系 分区（partition）kafka中的top ...
分类：
其他好文 时间：
2020-03-30 09:54:44
阅读次数：
91
整体架构优化点: 根据不同业务需求进行日期分区, 并执行类型动态分区。 hive.exec.dynamic.partition=true 为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip) mapreduce.output.fileoutputformat.compress=true ...
分类：
其他好文 时间：
2020-03-29 19:55:40
阅读次数：
105
问题 1) 容量不够，redis如何进行扩容？ 2) 并发写操作， redis如何分摊？ 什么是集群 1) Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 2) Redis 集群通过分区（partition）来 ...
分类：
其他好文 时间：
2020-03-29 17:56:07
阅读次数：
91
softmax杂谈 在多分类问题中，我们可以使用 softmax 函数，对输出的值归一化为概率值。下面举个例子： import sys sys.path.append("E:/zlab/") from plotnet import plot_net, DynamicShow num_node_lis ...
分类：
其他好文 时间：
2020-03-27 00:38:00
阅读次数：
76
当分区表有最大分区的时候，不能直接添加分区，就需要用到split partition： 下面是示例： create table a (id number, name varchar2(30),name1 varchar2(30),name2 varchar2(30),time date) parti ...
分类：
其他好文 时间：
2020-03-26 13:58:03
阅读次数：
119
