转，原文：https://blog.csdn.net/zfszhangyuan/article/details/53389916 这个问题，在线上集群环境一般不容易出现，因为相关的日志文件参数都已经配置好了，而且经受住时间的的验证了。 作为新手，我在本地配置了一个单机kafka，用得是kafka自带 ...
分类：
其他好文 时间：
2019-12-16 22:05:35
阅读次数：
166
在上一教程中，我们改进了日志记录系统。 我们没有使用只能进行虚拟广播的fanout交换器，而是使用直接交换器，并有可能选择性地接收日志。 尽管使用直接交换改进了我们的系统，但它仍然存在局限性 它不能基于多个条件进行路由。 在我们的日志记录系统中，我们可能不仅要根据严重性订阅日志，还要根据发出日志的源 ...
分类：
编程语言 时间：
2019-12-15 16:40:27
阅读次数：
109
COMPSCI 671D Fall 2019Homework 41 EM Algorithm for Topic Modeling (35 points)In this question we will try to design an algorithm for discovering the a ...
分类：
其他好文 时间：
2019-12-14 21:10:37
阅读次数：
140
ActiveMQ 单机吞吐量： 万级 topic数量都吞吐量的影响： 时效性： ms级 可用性： 高，基于主从架构实现高可用性 消息可靠性： 有较低的概率丢失数据 功能支持： MQ领域的功能极其完备 总结： 非常成熟，功能强大，在早些年业内大量的公司以及项目中都有应用 偶尔会有较低概率丢失消息 现在 ...
分类：
其他好文 时间：
2019-12-14 14:12:31
阅读次数：
84
消息组接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 @ "TOC" 1、案情回顾 1.1 集群现状 集群信息如下： 例如业务主体名 topic_dw_test_by_ ...
分类：
其他好文 时间：
2019-12-12 22:22:23
阅读次数：
94
今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份 首先必须明确的是，Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的，而这个问题其实是问的是： ...
分类：
其他好文 时间：
2019-12-11 21:35:51
阅读次数：
351
1&&0 %AND 1 ||0 % OR octave:6> PS1('>> '); >> octave:1> 5+6 ans = 11 octave:2> 1==2 ans = 0 octave:3> 1==2 %false %XXX %为注释 ans = 0 octave:4> 1~=2 %表示 ...
分类：
其他好文 时间：
2019-12-10 20:57:25
阅读次数：
176
学会使用日志(log)系统，做ROS大型项目的主治医生通过显示进程的运行状态是好的习惯，但需要确定这样做不会影响到软件的运行效率和输出的清晰度。ROS 日志 (log) 系统的功能就是让进程生成一些日志消息，显示在屏幕上、发送到特定 topic 或者储存在特定 log 文档中，以方便调试、记录、报警... ...
分类：
其他好文 时间：
2019-12-10 01:16:58
阅读次数：
326
1、Offset Topic Consumer通过提交Offset来记录当前消费的最后位置，以便于消费者发生崩溃或者有新的消费者加入消费者组，而引发的分区再均衡操作，每个消费者可能会分到不同的分区。我测试的kafka版本是：0.11.0.2，消费者往一个特殊的主题“_consumer_offset” ...
分类：
其他好文 时间：
2019-12-08 22:58:03
阅读次数：
140
首先解释下consumeQueue，由于commit-log是根据消息先后存储的，而我们消费的时候是根据topic来筛选的，所以需要一个队列根据topic来划分，所以consumeQueue就是干这个事情的。而indexfile顾名思义就是索引文件，用来做单纯查询的。 private final C ...
分类：
其他好文 时间：
2019-12-08 22:51:24
阅读次数：
69
