准备：1. 规划3个集群节点:hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2,且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html) ...
分类：
其他好文 时间：
2021-06-19 19:11:31
阅读次数：
0
官方中文文档：https://kafka.apachecn.org/quickstart.html 1 下载安装包&解压缩 下载地址：http://kafka.apache.org 解压缩命令**(根据实际情况选择解压路径)**： tar -zxvf kafka_2.11-1.0.1.tgz -C ...
分类：
其他好文 时间：
2021-06-19 19:05:25
阅读次数：
0
kafka几圈搭建好了，但当一个节点挂机后整个集群还是不能使用并没有起到集群的作用，这是为什么？ 在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障 注：上一篇博客地址https://www.cnblogs ...
分类：
其他好文 时间：
2021-06-18 18:52:34
阅读次数：
0
spark程序初始化HiveContext报错：空指针异常 版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac ...
分类：
其他好文 时间：
2021-06-17 16:37:17
阅读次数：
0
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 (文章目录) 一. 业务模型 在上一篇文章中，我们分析了生产者的原理。下一步我们来分析下提交上来的消息在Server端时如何存储的。 1.1 概念梳理 Kafka用Topic将数据划分成内聚性较强的子集，To ...
分类：
其他好文 时间：
2021-06-15 17:59:49
阅读次数：
0
架构师之技术栈 互联网的精髓就是共享，可以共享技术、共享经验、共享情感、共享快乐~ 很多年前就有这个想法了，从事IT行业时间也不短了，应该把自己工作和业余所学习的东西记录并分享出来，和有缘人一起学习和交流。 如果您是那个有缘人，请上岛一叙！爪哇岛随时欢迎您！ 今天分享的是JAVA架构师的技术栈图谱， ...
分类：
其他好文 时间：
2021-06-15 17:36:26
阅读次数：
0
先对象新生代对象进行调优，后对老年代对象进行调优 ...
分类：
其他好文 时间：
2021-06-13 10:28:37
阅读次数：
0
在消息RabbitMQ时,我们关心的一个问题是手动ack还是自动ack,如果是自动ack就怕出现丢消息的情况 Flink以RabbitMQ作为Source,是怎么保证消息唯一性的呢,是怎么保证ack的. 首先引入依赖包 <dependency> <groupId>org.apache.flink</ ...
分类：
其他好文 时间：
2021-06-11 19:15:45
阅读次数：
0
本文将介绍MySQL参数的五大类设置，平时我们一般都很少碰它们，在进行MySQL性能调优和故障诊断时这些参数还是非常有用的。 (一)连接 连接通常来自Web服务器，下面列出了一些与连接有关的参数，以及该如何设置它们。 1、max_connections 这是Web服务器允许的最大连接数，记住每个连接 ...
分类：
数据库 时间：
2021-06-11 19:00:25
阅读次数：
0
业务使用maxwell监听数据库的binlog日志，然后发送到kafka，经过这些日志进行业务逻辑的处理。 问题：线上的这段业务没有进行执行。 猜测1、由于前段时间进行了数据库表的字段转移，把两个字段从上层表order下放到了下层表advert，以为是这段代码进行改写的时候没能覆盖逻辑。 看了代码之 ...
分类：
其他好文 时间：
2021-06-11 18:59:01
阅读次数：
0
