Kafka安装部署 Kafka依赖zookeeper，默认kafka有自带的zookeeper，但是一般情况使用自建的好一些 1、 安装zookeeper 1) 创建目录 mkdir /data/kafka/zookeeper/{log,data} -p 2) 下载zookeeper安装包 cd / ...
分类：
其他好文 时间：
2020-07-06 10:58:34
阅读次数：
97
打开zookeeper集群之后，zk正常，但是kafka启动之后总是会挂掉，查找logs日志里的server.log文件发现问题： 问题：A broker is already registered on the path /brokers/ids/0. This probably indicate ...
分类：
其他好文 时间：
2020-07-05 15:07:11
阅读次数：
103
以下内容，来自网络资料整理和个人安装使用结果。后续会持续更新 ...
分类：
其他好文 时间：
2020-07-04 21:13:41
阅读次数：
90
一、简介JStorm是一个分布式实时计算引擎。JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的work ...
分类：
Web程序 时间：
2020-07-04 20:35:29
阅读次数：
54
如果从消息组件来讲主要划分为两类： JMS组件：ActiveMQ(慢) AMQP组件(协议)：性能是最高的，而AMQP有两个主要的开源项目： |-RabbitMQ：使用最为广泛，速度也很快 |-Kafka：是在大数据时代产生的，未来明日之星。 RabbitMQ系统架构在所有的消息系统之中，其基本由生 ...
分类：
其他好文 时间：
2020-07-04 16:53:00
阅读次数：
71
启动kafka时，kafka进程无法启动，查阅log发现存在如下问题： 2020-07-04 10:44:54,659] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServ ...
分类：
其他好文 时间：
2020-07-04 15:27:07
阅读次数：
53
NoSql （memcache Redis） 全文搜索：Sphinx、Elasticsearch、Solr Kafka Redis/MC MC指的是memcache SSD Cache 固态硬盘 Solid State Disk或Solid State Drive，简称SSD DOCKER LEVE ...
分类：
其他好文 时间：
2020-07-04 15:02:16
阅读次数：
123
简单安装为了集成 SpringBoot，真实使用，增加增加更多配置，比如将log映射出来 1.安装 zookeeper [root@centos-linux ~]# docker pull wurstmeister/zookeeper [root@centos-linux ~]# docker pu ...
分类：
其他好文 时间：
2020-07-03 23:42:13
阅读次数：
296
消息丢失的场景 如果Kafka Producer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。 如果在消息过程中发生了网络抖动，那么消息就会丢失；或发送的消息本身不 ...
分类：
其他好文 时间：
2020-07-03 19:33:54
阅读次数：
55
如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就 ...
分类：
Web程序 时间：
2020-07-03 01:11:20
阅读次数：
154
