问题项目使用spring-kafka操作消费kafka近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。日志分析以下为日志记录，consumer会时长从消费组中掉出再重新加入o.a.k.c.c.i.AbstractCoordinator:542-Markingthecoordinator127.0.0.1:9092(id:2
分类：
其他好文 时间：
2020-02-28 19:02:51
阅读次数：
461
前言 传统情况下装系统的两种方案 或 but一直有一个疑问！ 是否可以使用 名词解释 硬盘格式 MBR分区：全称“Master Boot Record”，中文名称“主引导记录”。 传统格式 GPT分区：全称“GUID Partition Table”，中文名称“全局唯一标识磁盘分区表”。 新格式 引 ...
分类：
其他好文 时间：
2020-02-28 00:53:35
阅读次数：
72
1、消息中间件1、简介消息中间件也可以称消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，可以在分布式环境下扩展进程的通信。当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等。其能在不同平台之间进行通信，常用来屏蔽各种平台协议之间的特性，实现应用程序之间的协同。优点在于能够在客
分类：
其他好文 时间：
2020-02-26 22:36:44
阅读次数：
70
分析函数 分析函数是Oracle专门用于解决复杂报表统计需求的功能强大的函数，它可以在数据中进行分组然后计算基于组的某种统计值，并且每一组的每一行都可以返回一个统计值 分析函数和聚合函数的区别 普通的聚合函数用group by分组，每个分组返回一个统计值 分析函数采用partition by分组，并 ...
分类：
其他好文 时间：
2020-02-25 20:33:19
阅读次数：
79
1、ROW_NUMBER 命令格式 row_number() over(partition by [col1, col2…] order by [col1[asc|desc], col2[asc|desc]…]) 命令说明 该函数用于计算行号，从1开始。 参数说明 partition by [col ...
分类：
其他好文 时间：
2020-02-24 00:24:51
阅读次数：
136
Topic主题用来区分不同类型的消息，实际也就是适用于不同的业务场景，默认消息保存一周时间； 同一个Topic主题下，默认是一个partition分区，也就是只能有一个消费者来消费，如果想提升消费能力，就需要增加分区； 同一个Topic的多个分区，可以有三种方式分派消息(key,value)到不同的 ...
分类：
其他好文 时间：
2020-02-21 16:30:22
阅读次数：
298
kafka 分布式，基于zookeeper协调的分布式消息系统，支持分区（partition）多副本(replica) 每秒10万的吞吐量，零拷贝，不经过内存 端口默认9092 1、消费者 producer 自己决定向哪个partition生产消息，两种机制：hash,轮询 2、partiton 分 ...
分类：
其他好文 时间：
2020-02-21 14:48:16
阅读次数：
76
题意：https://ac.nowcoder.com/acm/contest/4370 将一棵树切k-1刀分成k棵树，问这k棵树里最大的权值的最小值是多少 思路：https://www.cnblogs.com/ucprer/p/11931263.html 二分最大值。 dfs割子树，每次从下往上切一 ...
分类：
其他好文 时间：
2020-02-20 22:21:05
阅读次数：
150
引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点： 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类：
其他好文 时间：
2020-02-20 13:13:52
阅读次数：
65
分区索引（partitioned index）是 DB2 V9.7 中的新特性，在本文中将介绍什么是分区索引，如何创建和管理分区索引，分区索引如何改进大型数据库性能，读者将获得对分区索引的第一手体验。每个分区索引由多个索引分区（index partition）组成，每个索引分区只对相应的数据分区（d ...
分类：
数据库 时间：
2020-02-19 13:20:31
阅读次数：
127
