1.Kafka文件存储基本结构 1）在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1 2）每个partion(目录 ...
分类：
其他好文 时间：
2020-03-03 22:34:12
阅读次数：
102
combineByKey(createCombiner, mergeValue, mergeCombiners, numPartitions=None, partitionFunc=<function portable_hash at 0x7f1ac7340578>) 它是一个泛型函数，主要完成聚合 ...
分类：
其他好文 时间：
2020-03-03 12:45:59
阅读次数：
89
2020 03 02 15:39:08.501 ERROR 267704 [ main] c.alibaba.druid.filter.stat.StatFilter : merge sql error, dbType postgresql, druid 1.1.10, sql : create t ...
分类：
数据库 时间：
2020-03-03 10:31:47
阅读次数：
333
Lists.partition public class testList { @Test public void test(){ List<Integer> numList = Lists.newArrayList(1, 2, 3, 4, 5, 6, 7, 8); List<List<Intege ...
分类：
其他好文 时间：
2020-03-02 20:46:46
阅读次数：
107
字符串是python中最常见的数据类型，可以用双引号或者单引号来创建 a = "python" b = 'python' 字符串常用方法 find（） 方法 和rfind方法 str.find('要查找的内容'，开始的地方，结束的地方) 查找字符串的下标 如果没有找到就返回 -1 rfind 和 f ...
分类：
其他好文 时间：
2020-03-01 21:37:51
阅读次数：
101
1. 概述 Kafka是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统。 2. Kafka的特性 （1）高吞吐量、低延迟：Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题topic可以分为多个分区partition，消费者组consumer grou ...
分类：
其他好文 时间：
2020-03-01 19:38:00
阅读次数：
72
1.划分 函数partition用于将数组分为两段，一段返回小于基准值，一段大于基准值。并且基准值到达它应该在的位置。返回基准值的下标。 代码： 找到数组中个数超过一半的数 思路1： 既然这个数的个数超过总个数的一半，那么如果把数组排序，在中间的那个数，必定是所要找的数。所以把问题转化为找n/2大的 ...
分类：
编程语言 时间：
2020-02-28 21:00:59
阅读次数：
73
问题项目使用spring-kafka操作消费kafka近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。日志分析以下为日志记录，consumer会时长从消费组中掉出再重新加入o.a.k.c.c.i.AbstractCoordinator:542-Markingthecoordinator127.0.0.1:9092(id:2
分类：
其他好文 时间：
2020-02-28 19:02:51
阅读次数：
461
前言 传统情况下装系统的两种方案 或 but一直有一个疑问！ 是否可以使用 名词解释 硬盘格式 MBR分区：全称“Master Boot Record”，中文名称“主引导记录”。 传统格式 GPT分区：全称“GUID Partition Table”，中文名称“全局唯一标识磁盘分区表”。 新格式 引 ...
分类：
其他好文 时间：
2020-02-28 00:53:35
阅读次数：
72
1、消息中间件1、简介消息中间件也可以称消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，可以在分布式环境下扩展进程的通信。当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等。其能在不同平台之间进行通信，常用来屏蔽各种平台协议之间的特性，实现应用程序之间的协同。优点在于能够在客
分类：
其他好文 时间：
2020-02-26 22:36:44
阅读次数：
70
