kafka官方文档 https://kafka.apache.org/documentation.html quickstart kafka 安装文档 https://www.jianshu.com/p/c74e0ec577b0 相关命令: kafka 启动:kafka官方文档 https://ka ...
分类:
其他好文 时间:
2019-12-10 14:55:32
阅读次数:
372
1. 集群节点及服务分配 说明: 1.1. 在每个节点上启动两个clickhouse服务(后面会详细介绍如何操作这一步),一个数据分片,一个数据备份,为了确保宕机数据一致性,数据分片和数据备份不能同一节点,比如gawh201上的shard不能备份在gawh201的replica,如果这样做,当gaw ...
分类:
其他好文 时间:
2019-12-10 13:08:05
阅读次数:
328
前言Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedi
分类:
其他好文 时间:
2019-12-09 18:50:02
阅读次数:
101
第一步:配置网络(静态IP) vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同) 1. 修改: 将该配置文件中的ONBOOT=no修改为yes(网络开机自启) 将BOOTPROTO=dhcp修改为static(将ip设置为静态ip) 2. ...
分类:
其他好文 时间:
2019-12-02 20:42:53
阅读次数:
124
Swarm 是 Docker 官方提供的一款集群管理工具,其主要作用是把若干台 Docker 主机抽象为一个整体,并且通过一个入口统一管理这些 Docker 主机上的各种 Docker 资源。 Swarm 和 Kubernetes 比较类似,但是更加轻,具有的功能也较 kubernetes 更少一些 ...
分类:
其他好文 时间:
2019-12-02 13:13:50
阅读次数:
167
replication相关概念: ISR(In-Sync Replicas):副本同步列表【包含Leader和Follower】 OSR(Outof-Sync Replicas):由于同步落后而被剔除的副本列表,阈值参数:replica.lag.time.max.ms AR(Assigned Rep ...
分类:
其他好文 时间:
2019-11-20 21:26:36
阅读次数:
103
进入slave服务器,运行: mysql> show slave status\G ....... Relay_Log_File: localhost-relay-bin.000535 Relay_Log_Pos: 21795072 Relay_Master_Log_File: localhost- ...
分类:
数据库 时间:
2019-11-18 13:04:29
阅读次数:
85
一,deployment Deployment为Pod和Replica Set下一代Replication Controller)提供声明式更新 1,配置示例 apiVersion: apps/v1 # 1.9.0 之前的版本使用 apps/v1beta2,可通过命令 kubectl api-ver ...
分类:
其他好文 时间:
2019-11-14 20:06:14
阅读次数:
99
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 ...
分类:
其他好文 时间:
2019-11-11 21:47:16
阅读次数:
85
//查看kubernetes-dashboard create -f xxx.yaml 拉取失败的原因:ErrImagePull、ImagePullBackOff kubectl describe pod kubernetes-dashboard-669f9bbd46-dph47kubectl ge ...
分类:
其他好文 时间:
2019-11-07 13:17:06
阅读次数:
98