架构图 说明： 1.logic启动http服务器， 接受http请求，用于将数据推送到kafka以及获取在线用户信息，websocket身份校验 2.comet组件起动webdocket/tcp服务， 管理连接， 并负责将数据推送至指定连接 3. job组件订阅指定kafka指定频道的消息信息, 开 ...
分类：
其他好文 时间：
2020-05-05 12:46:53
阅读次数：
1044
ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。 Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具， ...
分类：
其他好文 时间：
2020-05-04 21:07:14
阅读次数：
72
一，latest和earliest区别 1，earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 2，latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据 ...
分类：
其他好文 时间：
2020-05-04 17:37:47
阅读次数：
84
背景 在介绍整个原理和代码之前，我们来交代一下整个过程的背景，我们的系统作为一个下游的DMS系统，需要每天定期读取第三方接口传入数据，由于第三方接口每天传入的数据有上百万条主机厂备件库存数据，之前通过Kafka消息接口进行传输的话效率低、速度慢而且容易出错，所以后面和第三方统一意见采用FTP方式进行 ...
分类：
数据库 时间：
2020-05-04 13:23:58
阅读次数：
82
一、日志按照指定格式解析拆分message https://blog.csdn.net/weixin_33883178/article/details/90588556?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-1&dep ...
分类：
其他好文 时间：
2020-05-03 16:44:03
阅读次数：
50
如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
下半部分主要是 Topic 级别参数、JVM 参数以及操作系统参数的设置 正确设置这些参数是搭建高性能 Kafka 集群的关键因素 Topic 级别参数 如果同时设置了 Topic 级别参数和全局 Broker 参数 答案就是 Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topi ...
分类：
其他好文 时间：
2020-05-03 14:18:46
阅读次数：
61
1、下载已经编译好的 "kafka manager 2.0.0.2.zip安装包" 2、修改配置文件(xx安装目录/kafka manager 2.0.0.2/conf/application.conf) 3、启动kafka manager服务 4、jps查看进程验证 5、登陆Kafka Manag ...
分类：
其他好文 时间：
2020-05-03 01:10:15
阅读次数：
50
//使用kafka+sparkStreaming进行数据处理 //从kafka拉取数据 package com.swust.predict import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka. ...
分类：
其他好文 时间：
2020-05-02 23:22:17
阅读次数：
114
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
