一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统,主要应用于大数据实时处理领域,其官网是:http://kafka.apache.org/。Kafka 是一个分布式、支持分区的(Partition)、多副本的(Replica),基于 ZooKeeper 协调的发布 ...
分类:
编程语言 时间:
2020-07-22 15:56:17
阅读次数:
64
1.创建一个topic (它有一个分区和副本) bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2.查看已有的top ...
这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景,之后于2 ...
分类:
编程语言 时间:
2020-07-15 23:49:56
阅读次数:
93
课程内容: 1. 简单的操作一下集群 2. 简单的介绍几个工具(企业) 3. Producer的原理(核心,重点) 4. 简单kafka的代码 5. 介绍里面的核心参数(重点) 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数,建议是节点的倍数 Pro ...
分类:
其他好文 时间:
2020-07-15 01:03:51
阅读次数:
81
四组基本概念 Pod/Pod控制器 Name/Namespace Label/Label选择器 Service/Ingress Pod Pod是k8s里能够被运行的最小的逻辑单元(原子单元) 1个Pod里面可以运行多个容器,它们共享UTS+NET+IPC名称空间 可以把Pod理解成豌豆荚,而同一个P ...
分类:
其他好文 时间:
2020-07-14 16:43:21
阅读次数:
82
ProjectConfig: package com.ultiwill.utils; import com.ultiwill.entity.EsConfigEntity; import com.alibaba.fastjson.JSON; public class ProjectConfig { p ...
分类:
其他好文 时间:
2020-07-03 12:32:39
阅读次数:
54
mongodb集群概念介绍 mongodb支持架构有单机(stand-alone)、主从(master-slave)、副本集(replica set)以及分片(sharding), 而最常用的架构莫过于副本集 + 分片。而分片有三大组件,分别为mongos、configsvr、sharding se ...
分类:
数据库 时间:
2020-07-01 12:36:50
阅读次数:
60
(一)查看副本集状态要查看副本集状态及每个成员的状态,可以连接到主节点,使用 rs.status() 命令查看: rstest:PRIMARY> rs.status() { "set" : "rstest", "date" : ISODate("2020-06-30T15:06:44.586Z"), ...
分类:
数据库 时间:
2020-06-30 21:00:28
阅读次数:
79
(一)调整副本集节点的优先级(priority)priority属性的值会影响到主节点选举的时间以及结果,priority是一个浮点型数字,可以在0到1000之间设置,数字越高,优先级越高。 对于优先级,有一些默认规定: 非投票成员,priority必须为0; priority大于0的成员不能有0 ...
分类:
数据库 时间:
2020-06-30 20:59:45
阅读次数:
74
概念 PV 的全称是:PersistentVolume(持久化卷),是对底层的共享存储的一种抽象,PV 由管理员进行创建和配置,它和具体的底层的共享存储技术的实现方式有关,比如 Ceph、GlusterFS、NFS 等,都是通过插件机制完成与共享存储的对接。 PVC 的全称是:PersistentV ...
分类:
其他好文 时间:
2020-06-29 11:40:03
阅读次数:
53