记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。 LEO&HW基本概念 1. Base Offset：是起始位移，该副本中第一条消息的offset，如下图，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是0开始了 ...
分类：
其他好文 时间：
2020-04-06 13:28:48
阅读次数：
152
ELK 是什么？ 通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称 ELKstack。 官网： https://www.elastic.co/ ELK 主要优点： 1、处理方式灵 ...
分类：
其他好文 时间：
2020-04-06 10:07:43
阅读次数：
79
一.整合kafka(生产者)步骤1.导入依赖(pom.xml)2.编写配置文件,修改配置文件的ip和端口号,修改主题(producer.xml)3.如果再ssm项目中可以让spring.xml来加载这个配置文件 <import resource="classpath:XXX.xml" /> 如果是再 ...
分类：
编程语言 时间：
2020-04-06 10:04:41
阅读次数：
84
平时只要在application.properties中配置参数就可以了，在程序中就会自动进行读取。今天写的程序是可能存在多组配置项，就像多通道kafka同时接入到一个模块，要怎么配置参数呢？ 这里做一个小小的示例片段。 1.使用配置项的java /** * 连接通道的参数 * 使用list，使得模 ...
分类：
移动开发 时间：
2020-04-05 20:10:07
阅读次数：
736
Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如 ps -ef | grep kafka 可以看到kafka这个程序的进程id 可以看到是2913，现在可以使用如下命令查看内存： top -p 2913 这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行 ...
分类：
系统相关 时间：
2020-04-05 09:50:06
阅读次数：
86
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
/** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址，要重置的topic名称，消费组，以及partition个数 */public static void seekLatest(String broker, String topic, String group, i ...
分类：
其他好文 时间：
2020-04-03 18:28:01
阅读次数：
109
前言最近在用kafka做项目，所以本地搭建下kafka，但是又嫌java安装和安装kafka太麻烦，所以想到用docker来部署。镜像wurstmeister/kafka维护较为频繁的一个Kafka镜像。只包含了Kafka，因此需要另行提供ZooKeeper，推荐使用同一作者提交的wurstmeister/zookeeper。现在已经提供较新的1.1.0版本。搭建开发环境1ZooKeeper&am
分类：
其他好文 时间：
2020-04-03 18:14:05
阅读次数：
57
kafka是可以保证同一个分区里面的消息写入是有序的。也就是说，如果生产者按照一定的顺序发送消息，broker就会按照这个消息顺序来将他们写入分区，消费者也会按照一定的顺序将他们写入分区，消费者也会按照同样的顺序读取它们。 在某些情况下，数据的顺序是很重要的，例如，在一个账户存入100元再取出来 和 ...
分类：
其他好文 时间：
2020-04-03 15:05:39
阅读次数：
225
