Cluster Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check user & password & network reachability, make sure everything i ...
分类:
其他好文 时间:
2019-02-23 01:35:21
阅读次数:
137
Zookeeper在Hadoop的HA中的应用 非HA的弊端: HDFS集群的分布式存储是靠namenode节点(namenode负责响应客户端请求)来实现。在非HA集群中一旦namenode宕机,虽然元数据不会丢失,但整个集群将无法对外提供服务,导致HDFS服务的可靠性不高,这在实际应用场景中显然 ...
分类:
其他好文 时间:
2019-02-22 23:17:22
阅读次数:
178
Kubernetes是Google开源的容器集群管理系统,是Docker容器的主要集群管理系统之一。 其中,Kubernetes中管理主要有三种类型的IP:Pod IP 、Cluster IP 和 外部IP。 Pod IP Kubernetes的最小部署单元是Pod。利用Flannel作为不同HOS ...
分类:
Web程序 时间:
2019-02-22 00:36:35
阅读次数:
541
Hadoop Single Node Cluster只以一台机器来建立Hadoop环境,仍然可以使用Hadoop命令,只是无法发挥使用多台机器的威力。 安装JDK 因为Hadoop是以Java开发的,所以必须先安装Java环境。本文是以Ubuntu系统为例 安装前查看java版本 在命令终端输入 j ...
分类:
其他好文 时间:
2019-02-21 17:23:02
阅读次数:
172
早期的ProxySQL若需要做高可用,需要搭建两个实例,进行冗余。但两个ProxySQL实例之间的数据并不能共通,在主实例上配置后,仍需要在备用节点上进行配置,对管理来说非常不方便。但是ProxySQl 从1.4.2版本后,ProxySQL支持原生的Cluster集群搭建,实例之间可以互通一些配置数 ...
分类:
数据库 时间:
2019-02-21 12:21:27
阅读次数:
1549
一、安装scala 我们安装的是scala-2.11.8 5台机器全部安装 下载需要的安装包并进行解压 配置环境变量 启动scala [root@master1 workspace]# vim /etc/profile[root@master1 workspace]# scala -version- ...
分类:
其他好文 时间:
2019-02-20 17:28:59
阅读次数:
166
Kubernetes通过statefulset部署rediscluster集群作者:张首富时间:2019-02-19需要有redis基础Redis集群架构图每个Mater都可以拥有多个slave.当Master掉线后,rediscluster集群会从多个Slave中选举出来一个新的Matser作为代替,而旧的Master重新上线后变成Master的Slave.部署redis集群方式的选择State
分类:
Web程序 时间:
2019-02-20 09:33:28
阅读次数:
208
部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号,由于做实验,没必要这么多集群,那么就不用HA集群第一步看一下hdfs是否正常启动hdfsstart-dfs.sh启动zookeeper看是否正常(每台机器上都手动启动zookeeper)./zkServer.shstart检查zookeeper的工作状态./zkServe
分类:
其他好文 时间:
2019-02-20 09:32:14
阅读次数:
218
2019/2/19星期二zookeeper基本概念和功能zookeeper是hadoop生态圈里面重要的底层的框架,主要为上层的框架提供分布式协调服务的。hadoop-spof问题及HA解决思路引入集群协调服务框架的必要性zookeeper简介ZooKeeper是一个分布式应用程序协调服务,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。目前zookeeper被广泛应用于hadoop生
分类:
其他好文 时间:
2019-02-19 16:25:50
阅读次数:
296
1. svc(vip) -- deployment 2.headless(none) -- statefulSet pod(每个pod都有唯一标识,是有先后顺序的) #headless service,即无头服务,与service的区别就是它没有Cluster IP,解析它的名称时将返回该Headl ...
分类:
其他好文 时间:
2019-02-19 11:54:20
阅读次数:
134