脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消 ...
分类：
其他好文 时间：
2020-06-20 13:33:55
阅读次数：
60
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
本章要说的HW和LEO和ISR有关联，ISR之前总结过，这里不再说。 HW High Watermark（高水位），用于标识特定的offset，消费者只能拉取到HW之前的消息 LEO Log End Offset，某个分区要写入下一条消息的offset LSO Log Start Offset ，某 ...
分类：
其他好文 时间：
2020-06-19 22:52:13
阅读次数：
98
概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消 ...
分类：
其他好文 时间：
2020-06-19 19:22:25
阅读次数：
64
介绍 一种高吞吐量的分布式发布订阅消息系统 消息类型：主体Topic（广播）、队列Queue（一对一） 消息系统类型：同步消息系统、异步消息系统 常见消息产品：Redis、Kafka、JMS 术语 Topic：Kafka处理消息源（feeds of messages）的不同分类（不同于传统MQ） P ...
分类：
数据库 时间：
2020-06-18 21:34:03
阅读次数：
82
前一篇总结了下生产者Java API，本篇参照源码总结下生产数据的具体流程，先上图： 1. Producer创建时，会创建一个Sender线程并设置为守护线程 2. 生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创 ...
分类：
其他好文 时间：
2020-06-18 21:10:43
阅读次数：
63
ClickHouse大数据分析技术与实战课程课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。本课程从零开始，有Linux操作系统和SQL使用经验即可。课程以案例驱动，包含大量的实践案例。将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。课程覆盖面广，既有基础功能的详细讲解，也包含了
分类：
其他好文 时间：
2020-06-18 17:49:42
阅读次数：
113
ClickHouse大数据分析技术与实战课程课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。本课程从零开始，有Linux操作系统和SQL使用经验即可。课程以案例驱动，包含大量的实践案例。将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。课程覆盖面广，既有基础功能的详细讲解，也包含了
分类：
其他好文 时间：
2020-06-18 16:18:50
阅读次数：
65
本篇文章的目的是帮助Kafka初学者快速搭建一个Kafka集群，以及怎么在SpringBoot项目中使用Kafka。 kafka集群环境包地址：https://pan.baidu.com/s/1Mar6ADov94lUNMCR6eyFEA 提取码：x9yn 一、Kafka集群搭建 1、准备环境 （1 ...
分类：
编程语言 时间：
2020-06-18 13:04:08
阅读次数：
56
