3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
[toc] 属性 |代码|功能 | 备注| | | | | | | 字符串长度| | | 类型名称 | 如果是字符串会输出 | | | 取字符串第1，2，以及最后一位字符 | | 判断制定字符在字符串中的位置 | | 指定的字符(串)在s中出现了几次 | | 指定字符(串)在s中首次出现的位置(默认 ...
分类：
编程语言 时间：
2020-03-24 01:09:19
阅读次数：
100
学习自《剑破冰山 Oracle开发艺术》第五章 报表开发之扩展GROUP BY对于简单group by语句很难对复杂维度进行分析，难以达到实际生产的复杂报表需求，group by的扩展特性就需要了，union语句也可以达到需求但是sql复杂且效率低1 rollup多维汇总rollup，分组先进行常规... ...
分类：
其他好文 时间：
2020-03-23 17:19:45
阅读次数：
101
E 题意真的是看瞎眼，题意：要输出每个位置i—th使得求出q1~q（i-1）有效的情况下答案是多少；每次在i-th操作，我们要执行将p1，p2.p3依次放进空集里面，那么轮到q位置，例如q=5，那就是第五个p数字他就要爆炸，使得这个集合最大的元素炸飞，然后执行完q1~q（i-1）后，该集合的最大元素 ...
分类：
其他好文 时间：
2020-03-23 16:37:22
阅读次数：
48
// 快速排序算法：关键在于定义基准元素，头尾元素与基准元素对比，定义头尾元素下标，头小右移，头大停止，尾大左移，尾小停止，头大尾小元素交换 function partition(arr, startIndex, endIndex) { var pivot = arr[startIndex]; va ...
分类：
编程语言 时间：
2020-03-23 09:17:05
阅读次数：
67
题意： "题目链接" 有N个程序需要运行，同一个程序在不同的运行空间大小中运行时间不同(一个程序在2G的内存下运行5s，5G的内存下运行2s .etc) 给出M个运行区域，每个区域有各自的空间，同一时间一个区域只能运行一个程序 求如何安排使得所有程序的结束时间之和最小 N include inclu ...
分类：
其他好文 时间：
2020-03-21 16:32:40
阅读次数：
65
kafka分区，excutor，task，RDD分区的关系： 数据的流：数据流向从kafka>sparkStreaming>RDD 1 kafka中的 topic 的 patition 分区的设置，kafka 的 partition 分区数 ，sparkStreaming 直连方式从kafka中拉数 ...
分类：
其他好文 时间：
2020-03-20 12:30:57
阅读次数：
108
快速排序思想:在partition中,首先以最右边的值作为划分值x,分别维护小于x的区间,等于x的区间,以及大于x的三个区间,最后返回划分值的左边界和右边界.时间复杂度为O(nlogn).publicclassQuickSort{publicstaticvoidquickSort(int[]arr){if(arr==null||arr.length<2)return;sortProgress
分类：
编程语言 时间：
2020-03-20 11:01:14
阅读次数：
61
1、消费者与消费者组 假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。 如果消费者组中有两个消费者，那么每个消费者消费两个 partition。 如果消费者组中有4个消费者，那么每个消费者消费一个partition。 如果消费者组中有 ...
分类：
其他好文 时间：
2020-03-19 21:29:18
阅读次数：
65
类快排算法 由于只要求找出第k大的数，没必要将数组中所有值都排序。 快排中的partition算法，返回key在数组中的位置的cnt（相对于left的偏移量），如果cnt正好等于k，那么问题则得到解决；如果cnt小于k，去左边找第k个；如果cnt>k，则去右边找第k-cnt个。直到key的位置等于k ...
分类：
编程语言 时间：
2020-03-19 21:27:51
阅读次数：
75
