ZooKeeper 概述 Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中 应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。 ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系 统的目录树方式的数据存储,并且可以对树中的节点 ...
分类:
其他好文 时间:
2019-07-10 14:57:10
阅读次数:
88
目标:分布式集群中,选举Leader,保持数据一致性 集群中每个节点都有三种状态: Follower:纯小弟 Candidate:候选人。我原来是小弟,但我现在想当老大 Leader:老大 集群状态: 有明确的老大(稳定状态) 没有老大,选举中 有老大的状态: Follower内有倒计时(150ms ...
分类:
编程语言 时间:
2019-07-07 12:48:15
阅读次数:
389
一、下载解压 1、Zookeeper简介 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控 ...
分类:
系统相关 时间:
2019-07-06 14:52:54
阅读次数:
117
groupadd test //新建test工作组 useradd -g test phpq //新建phpq用户并增加到test工作组 userdel 选项 用户名 常用的选项是 -r,它的作用是把用户的主目录一起删除。 vim /etc/sudoers 在文件的如下位置,为hadoop用户和sp ...
分类:
其他好文 时间:
2019-06-24 18:17:08
阅读次数:
90
10.1 分布式集群环境下的集成(同域名、同项目) 10.1.1 创建SpringBoot的web支持项目07-springboot-session 创建项目 10.1.2 在pom.xml文件中添加依赖 10.1.3 在application.properties中配置端口号、上下文根及Redis ...
分类:
编程语言 时间:
2019-06-19 12:26:11
阅读次数:
636
https://blog.csdn.net/lovechendongxing/article/details/81746988 Spark应用程序以进程集合为单位在分布式集群上运行,通过driver程序的main方法创建的SparkContext对象与集群交互。 1、Spark通过SparkCont ...
分类:
其他好文 时间:
2019-06-17 12:34:38
阅读次数:
114
进行在分布式集群上跑MapReduce的时候,通过脚本来运行,发现提示找不到相应的命令。 错误的原因就是一条命令不要有空格,在等于号两边不要有空格,不要有空格,不要有空格。 有空格就会报错。 ...
分类:
系统相关 时间:
2019-06-07 12:42:43
阅读次数:
175
1 概述 PostgreSQL官方介绍称是最先进的开源关系型数据库,支持所有主流的平台,目前已经更新到了最新版本的12.0,在MySQL被Oracle收购后,PostgreSQL开源社区越来越活跃了,同时还有分布式集群的开源方案GreenPlum,目前也非常受欢迎。本篇文章讨论PostgreSQL内 ...
分类:
数据库 时间:
2019-06-01 23:10:49
阅读次数:
231
简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: 搭建步骤: 1> 关闭防火墙,禁止设置开机启动: (1) //临时关闭 systemctl stop firewalld (2) //禁止开机启动 systemctl disable firewall ...
分类:
其他好文 时间:
2019-05-29 10:40:37
阅读次数:
120
一、如何为虚拟机做快照? 1、什么是快照? 快照就是对当前的虚拟机状态进行拍照,保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照? 第一:为克隆不同状态的虚拟机提前做准备。 第二:当对虚拟机的某些操作执行错误而且改正比较麻烦的时候,可以切换到之前正常的虚拟机状态重新进行相关的操作。 3、如 ...
分类:
其他好文 时间:
2019-05-26 00:10:44
阅读次数:
140