1. 部署keepalived - apiserver高可用(任选两个master节点) 1.1 安装keepalived # 在两个主节点上安装keepalived(一主一备) $ yum install -y keepalived 1.2 创建keepalived配置文件 # 创建目录 $ ss ...
分类:
Web程序 时间:
2020-05-28 23:18:50
阅读次数:
250
Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署,在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。 Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效的cloudera enterprise或 ...
分类:
其他好文 时间:
2020-05-28 21:35:22
阅读次数:
128
###1.大数据架构 说明: 1.该大数据平台采用的阿里云服务器,所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark,部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架,模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类:
其他好文 时间:
2020-05-28 11:34:57
阅读次数:
68
写在前面 记录和分享使用二进制搭建K8S集群的详细过程,由于操作比较冗长,大概会分四篇写完: 机器准备 部署etcd集群 部署Master 部署Node 整个目标是使用二进制的方式搭建一个小型k8s集群(1个Master,2个Node),供自己学习测试。 至于为什么要自己去用二进制的方式去搭建k8s ...
分类:
Web程序 时间:
2020-05-27 20:27:37
阅读次数:
116
写在前面 记录和分享使用二进制搭建K8S集群的详细过程,由于操作比较冗长,大概会分四篇写完: 机器准备 部署etcd集群 部署Master 部署Node etcd作为k8s的数据库,需要首先安装,为其他组件做服务基础。 etcd是一个分布式的数据库系统,为了模拟etcd的高可用,我们将etcd部署在 ...
分类:
Web程序 时间:
2020-05-27 20:26:24
阅读次数:
92
软件环境:VMware10.0,VMware10,ubuntu15.10桌面版(ubuntukylin-15.10-desktop-i386.iso),Apache hadoop(hadoop-1.2.1.tar.gz),JDK(jdk-8u11-linux-i586.tar.gz) 一 安装JDK ...
分类:
其他好文 时间:
2020-05-27 00:47:44
阅读次数:
69
Kafka快速入门(六)——Kafka集群部署一、Kafka集群部署方案规划1、操作系统选择通常,生产环境应该将Kafka集群部署在Linux操作系统上,原因如下:(1)Kafka客户端底层使用了Java的selector,selector在Linux上的实现机制是epoll,而在Windows平台上的实现机制是select,因此Kafka部署在Linux上能够获得更高效的I/O性能。(2)网络传
分类:
其他好文 时间:
2020-05-26 10:30:54
阅读次数:
69
本文摘自于阿里云高级技术专家王夕宁撰写的《Istio 服务网格技术解析与实战》一书,讲述了如何使用 Istio 进行多集群部署管理来阐述服务网格对多云环境、多集群即混合部署的支持能力。
分类:
其他好文 时间:
2020-05-25 15:34:45
阅读次数:
54
如果说分布式互斥算法讲了如何协调多个进程获取权限和根据权限有序访问共享资源,即获得访问权限的进程可以访问共享资源,其他进程必须 等待拥有该权限的进程释放权限。这个权限的设置或者产生的原理就是分布式锁。 在单机多线程环境中,遇到多个线程访问同一个共享资源(在单机情况下,这种一般称作“临界资源”,分布式 ...
分类:
其他好文 时间:
2020-05-25 00:14:26
阅读次数:
60
1 脚本启动方式 1. 创建/data目录,关闭防火墙,selinux;上传etcd软件包 2. 解压软件包 3. 配置 启动文件 1)node1节点 2)node2节点 3)node3节点 4. 给etcd.sh赋予执行权限并启动 5. 查看cluster成员 6. 查看cluster健康状态 2 ...
分类:
其他好文 时间:
2020-05-21 21:14:46
阅读次数:
56