MySQL分区表概述 随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。在日常的工作中，我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件 ...
分类：
其他好文 时间：
2020-03-31 17:12:59
阅读次数：
78
1 void partition(int arr[], int l, int r, int num)//三路快排 2 { 3 int less = l - 1; 4 int more = r + 1; 5 int cur = 0; 6 while (cur < more) 7 { 8 if (arr ...
分类：
其他好文 时间：
2020-03-30 19:29:19
阅读次数：
67
https://blog.csdn.net/qq_28900249/article/details/90346599 1、为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰 解耦和扩展性 冗余 健壮性 异步通信 2、kafka的分区与消费者关系 分区（partition）kafka中的top ...
分类：
其他好文 时间：
2020-03-30 09:54:44
阅读次数：
91
整体架构优化点: 根据不同业务需求进行日期分区, 并执行类型动态分区。 hive.exec.dynamic.partition=true 为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip) mapreduce.output.fileoutputformat.compress=true ...
分类：
其他好文 时间：
2020-03-29 19:55:40
阅读次数：
105
问题 1) 容量不够，redis如何进行扩容？ 2) 并发写操作， redis如何分摊？ 什么是集群 1) Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 2) Redis 集群通过分区（partition）来 ...
分类：
其他好文 时间：
2020-03-29 17:56:07
阅读次数：
91
softmax杂谈 在多分类问题中，我们可以使用 softmax 函数，对输出的值归一化为概率值。下面举个例子： import sys sys.path.append("E:/zlab/") from plotnet import plot_net, DynamicShow num_node_lis ...
分类：
其他好文 时间：
2020-03-27 00:38:00
阅读次数：
76
当分区表有最大分区的时候，不能直接添加分区，就需要用到split partition： 下面是示例： create table a (id number, name varchar2(30),name1 varchar2(30),name2 varchar2(30),time date) parti ...
分类：
其他好文 时间：
2020-03-26 13:58:03
阅读次数：
119
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
[toc] 属性 |代码|功能 | 备注| | | | | | | 字符串长度| | | 类型名称 | 如果是字符串会输出 | | | 取字符串第1，2，以及最后一位字符 | | 判断制定字符在字符串中的位置 | | 指定的字符(串)在s中出现了几次 | | 指定字符(串)在s中首次出现的位置(默认 ...
分类：
编程语言 时间：
2020-03-24 01:09:19
阅读次数：
100
学习自《剑破冰山 Oracle开发艺术》第五章 报表开发之扩展GROUP BY对于简单group by语句很难对复杂维度进行分析，难以达到实际生产的复杂报表需求，group by的扩展特性就需要了，union语句也可以达到需求但是sql复杂且效率低1 rollup多维汇总rollup，分组先进行常规... ...
分类：
其他好文 时间：
2020-03-23 17:19:45
阅读次数：
101
