搭建过程 1、Elasticsearch集群搭建 2、Cerebro插件安装 tar -zxvf cerebro-0.9.1.tgz 解压cerebro压缩包 配置cerebro文件夹下 application.conf 配置集群的地址 ./cerebro -Dhttp.port=8080 启动ce ...
分类：
其他好文 时间：
2020-06-29 15:43:43
阅读次数：
237
因elasticsearch 集群中有需要需迁移，从A集环境迁移到B集群中，数据量不小。 网上搜索找到几种方案，试了下这种。 0.安装nodejs（如果已安装请忽略）执行 yum install -y nodejs 1.升级nodejs执行 npm install -g n n latest 2.安 ...
分类：
其他好文 时间：
2020-06-29 13:04:44
阅读次数：
66
注：安装的kafka版本为kafka_2.10-0.8.2.1，zookeeper版本选的是zookeeper-3.4.14 一.下载zookeeper 官网下载zookeeper-3.4.14.tar.gz,解压到相应目录下： 解压后的目录包含（修改conf目录下的zoo_sample.cfg文件 ...
分类：
其他好文 时间：
2020-06-29 11:27:17
阅读次数：
50
作者：郑郑好victorzheng juejin.im/post/5baa54e1f265da0ac2566fb2 文章纲要 此次分享的缘由 目前分布式事务问题是怎么解决的 行业中有什么解决方案 这些解决方案分别有什么优缺点 别人是怎么做的 我们可以怎么来做 此次分享的缘由 支付重构 考虑支付重构的 ...
分类：
其他好文 时间：
2020-06-29 00:01:21
阅读次数：
525
安装环境系统 :centos7软件信息:lasticsearch-6.6.2.rpmjdk-8u131-linux-x64_.rpmkibana-6.6.2-x86_64.rpmlogstash-6.6.0.rpm提醒信息请提前写配置文件,并保证配置文件与脚本处于同一目录内以及四个安装包脚本代码#!... ...
分类：
系统相关 时间：
2020-06-28 22:22:58
阅读次数：
99
max.poll.interval.ms参数用于指定consumer两次poll的最大时间间隔（默认5分钟），如果超过了该间隔consumer client会主动向coordinator发起LeaveGroup请求，触发rebalance；然后consumer重新发送JoinGroup请求 示例如下 ...
分类：
其他好文 时间：
2020-06-28 22:18:58
阅读次数：
547
因日志产生多了，或者数据多了，导致硬盘满了，没及时清理。 elasticsearch 在程序连接后，提示无法连接问题。 解决： 1、清理掉多余日志。或文件信息。 2、修改索引，让其能够重新写入。 其中： 索引名称 china_index 用户名密码 ，没有的情况下可以不写 -u elastic:el ...
前面说过了consumer心跳机制：consumer定期向coordinator发送心跳请求，以表明自己还在线；如果session.timeout.ms内未发送请求，coordinator认为其不可用，然后触发rebalance session.timeout.ms：coordinator感知con ...
分类：
其他好文 时间：
2020-06-28 18:30:22
阅读次数：
193
1、消费者组 kafka提供的一种可扩展可容错消费机制，某个topic的分区数据只能被组内的一个消费者消费，注：当指定了自动提交(enable.auto.commit=true)时，必须显式的指定消费者组ID(group.id) 2、消费位置和offset管理 消费者需要记录消费了多少数据，即消费位 ...
分类：
其他好文 时间：
2020-06-28 15:17:15
阅读次数：
51
如果要想在java客户端进行Kerberos认证，则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件：kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach ...
分类：
其他好文 时间：
2020-06-28 00:37:29
阅读次数：
94
