码迷,mamicode.com
首页 >  
搜索关键字:partition by    ( 2821个结果
如果让你写一个消息队列,该如何进行架构设计啊?说一下你的思路
比如说这个消息队列系统,我们来从以下几个角度来考虑一下 (1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker → topic → partition,每个partition放一个机器,就存一部分 ...
分类:其他好文   时间:2021-04-13 12:22:01    阅读次数:0
大数据框架exactly-once底层实现原理,看这篇文章就够了
一、大数据框架三种语义???? 在分布式系统中,如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中,broker 可能会 crash,在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类:其他好文   时间:2021-04-09 13:27:18    阅读次数:0
SQL server使用ROW_NUMBER() OVER()做过滤
有个需求要求过滤掉同单号的 未检验数据, 如果已检验数据和未检验数据同时存在,则取已检验数据,如果只有未检验数据,取未检验数据 后来找的一个解决方案 使用ROW_NUMBER() OVER()做过滤 具体如下 ( SELECT ROW_NUMBER ( ) OVER ( PARTITION BY * ...
分类:数据库   时间:2021-04-09 13:02:10    阅读次数:0
Python 排序算法之快速排序
""" 快速排序 分治法(divide and conquer),三步走 1. Partition:选择一个基准(pivot)分割列表为两个子列表,小于基准和大于基准, 基准数通常选择第一个或最后一个元素 2. 对两个子列表分别快排,调用自身 3. 合并结果,两个子列表和只包含基准数的列表 """ ...
分类:编程语言   时间:2021-03-29 12:03:54    阅读次数:0
Kafka学习之路 (二)Kafka的架构
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干 ...
分类:其他好文   时间:2021-03-17 14:25:54    阅读次数:0
leetcode每日一题之8.分割回文串
分割回文串 回溯算法 求所有解,所以使用回溯算法来枚举所有的解。代码如下 class Solution { /** * @param String $s * @return String[][] */ function partition($s) { $res = []; $this->backtr ...
分类:其他好文   时间:2021-03-08 14:15:59    阅读次数:0
快排----Python模板
quickSort def partition(arr,low, high): i=(low-1) p=arr[high] for j in range(low, high): if arr[j]<=p: i+=1 arr[i],arr[j]=arr[j],arr[i] arr[i+1],arr[h ...
分类:编程语言   时间:2021-03-08 14:00:56    阅读次数:0
Spark Core 02(理论),独立的进程集
Application Application=a driver program + executors 一般来说:1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交,有gateway就行 1个application ==> ...
分类:系统相关   时间:2021-03-04 13:20:14    阅读次数:0
快速排序
挖坑填数方 从数列中挑出一个元素,称为 "基准"(pivot); 重新排序数列,所有元素比基准值小的摆放在基准前面,所有元素比基准值大的摆在基准的后面(相同的数可以到任一边)。在这个分区退出之后,该基准就处于数列的中间位置。这个称为分区(partition)操作; 递归地(recursive)把小于 ...
分类:编程语言   时间:2021-03-02 12:25:49    阅读次数:0
ods_to_dwd_sql
主要是这两个sql start_log(利用get_json_object函数): insert overwrite table "$app".dwd_start_log PARTITION (dt='$do_date') select get_json_object(line,'$.mid') m ...
分类:数据库   时间:2021-02-23 14:36:54    阅读次数:0
2821条   上一页 1 2 3 4 ... 283 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!