事先说明，本文的所有实例均基于kafka2.5.0开发；依赖的jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version> < ...
分类：
编程语言 时间：
2020-06-17 23:08:15
阅读次数：
74
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
每一个副本 leader 管理自己的 isr 列表，进行扩缩，并写入 zk 把某些 replica 加入到 isr 中：如果 follower 的 offset 大于等于 leader 的 HW，则把该 replica 加入到 isr 中 // kafka.cluster.Partition#may ...
分类：
其他好文 时间：
2020-06-16 23:41:35
阅读次数：
56
摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区 ...
分类：
其他好文 时间：
2020-06-16 21:54:32
阅读次数：
65
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
kafka 搭建源码环境 org.scoverage 报错 * Where:Build file '/Users/lidongmeng/source_code_read/kafka-0.10.0.1-src/build.gradle' line: 376 * What went wrong:A pr ...
分类：
其他好文 时间：
2020-06-16 18:44:01
阅读次数：
120
1、结构体 1 typedef struct my_stack { 2 int len;//既可以表示栈顶编号也可以表示元素个数 3 typename a[10001];//用数组表示栈内元素 4 }Stack; 2、初始化 1 Stack* create_emptystack() { 2 Stac ...
分类：
编程语言 时间：
2020-06-16 18:18:05
阅读次数：
67
DataLoader for various length of data https://discuss.pytorch.org/t/dataloader-for-various-length-of-data/6418 1. 使用pack_padded_sequence 2. 在DataLoade ...
分类：
其他好文 时间：
2020-06-16 16:57:21
阅读次数：
62
0.kafka和zookeeper一键搭建脚本如下#!/bin/bash#Auth:xusj#Date:2020/6/15#3个节点集群使用，分别在节点123执行该脚本即可。curDir=`pwd`localIp=$(ifconfig|grepinet|grepnetmask|grepbroadcast|awk‘{print$2}‘|sed-n‘1p‘)zkPid=$(psaux|grepzook
分类：
其他好文 时间：
2020-06-16 16:50:25
阅读次数：
65
“at 时间” 实现一次性计划任务 “at -l" 查看未执行的一次性计划任务 ”atrm 计划任务的序号“ 删除一次性计划任务 周期性计划任务 ”crontab -e" 创建、编辑周期性计划任务； “crontab -l” 查看当前设置的周期性计划任务； “crontab -r” 删除周期性的计划 ...
分类：
其他好文 时间：
2020-06-16 12:54:49
阅读次数：
56
