ElasticSearch之介绍 一 Elasticsearch产生背景 1.1 大规模数据如何检索 如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、oracle、mongodb、hbase…) 2)如何解决单点故障 ...
分类:
其他好文 时间:
2020-07-18 22:29:18
阅读次数:
436
HSRP/VRRP,热备份网关协议 技术背景 一个高可用性的网络肯定会在设计之初就考虑单点故障所带来的影响,所以都会选择可实现冗余备份的设计,在前文中提到的STP,生成树协议就是这样的操作,可是当数据到达了三层,IP层面,是否也有此类的协议呢?那就是HSRP/VRRP/GLBP 部署场景 双网关情况 ...
分类:
其他好文 时间:
2020-07-13 13:20:53
阅读次数:
104
先达到极限,然后再突破它 HA高可用 HA概述 所谓HA(High Available),即高可用(7*24小时不中断服务)。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前,在HDFS集群中NameNode存在 ...
分类:
其他好文 时间:
2020-07-10 17:23:12
阅读次数:
61
AWS云上混沌工程实践之启动篇 工程师团队最不愿碰到的便是大半夜被电话叫醒,开始紧张地查验问题,处理故障以及恢复服务。也许就是因为睡前的一个很小的变更,因某种未预料到的场景,引起蝴蝶效应,导致大面积的系统混乱、故障和服务中断,对客户的业务造成影响。特别是近几年,尽管有充分的监控告警和故障处理流程,这 ...
分类:
其他好文 时间:
2020-07-05 15:14:15
阅读次数:
88
简介
Git 是什么?
Git 是一个开源的分布式版本控制系统。
什么是版本控制?
版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统。
什么是分布式版本控制系统?
介绍分布式版本控制系统前,有必要先了解一下传统的集中式版本控制系统。
集中化的版本控制系统,诸如 CVS,Subversion 等,都有一个单一的集中管理的服务器,保存所有文件的修订版本,而协同工作的人们都通过客户端连到这台服务器,取出最新的文件或者提交更新。
这么做最显而易见的缺点是中央服务器的单点故障。如果宕机一小时,那么在这一小时内,谁都无法提交更新,也就无法协同工作。要是中央服务器的磁盘发生故障,碰巧没做备份,或者备份不够及时,就会有丢失数据的风险。最坏的情况是彻底丢失整个项目的所有历史更改记录。
分类:
其他好文 时间:
2020-07-04 09:15:58
阅读次数:
85
应用层7 nginx 软件 表示层6 会话层5 传输层4 lvs 内核 网络层3 链路层2 物理层1 2. 整个互联网建立在下一跳的模式下 IP是逻辑上的两个端点 MAC是物理上连接的两个节点 端点间TCP传输过程中 确认机制 状态机制 不可分割 解析数据包需要成本 交换机:二层,只关心MAC地址 ...
分类:
其他好文 时间:
2020-07-02 13:20:39
阅读次数:
48
1. 集群管理,元数据同步; 2. 大量的心跳广播信息可能导致心跳风暴问题,可考虑链式资源进行心跳; 3. 存储资源的均衡性问题; 4. 节点异常时的容错处理; 5. 单点故障和性能瓶颈; 6. 网络延时可能导致局部的大量优化化为乌有; 7.资源的故障域隔离,避免节点或者机架故障,导致数据丢失; 8 ...
分类:
其他好文 时间:
2020-07-01 09:27:54
阅读次数:
54
RAC, Data Gurad, Stream 是Oracle 高可用性体系中的三种工具,每个工具即可以独立应用,也可以相互配合。 他们各自的侧重点不同,适用场景也不同。 RAC 它的强项在于解决单点故障和负载均衡,因此RAC 方案常用于7*24 的核心系统,但RAC 方案中的数据只有一份,尽管可以 ...
分类:
数据库 时间:
2020-06-27 11:22:46
阅读次数:
47
Redis为什么需要集群? 首先Redis单实例主要有单点,容量有限,流量压力上限的问题。 Redis单点故障,可以通过主从复制replication,和自动故障转移sentinel哨兵机制。 但Redis单Master实例提供读写服务,仍然有容量和压力问题,因此需要数据分区,构建多个Master实 ...
分类:
其他好文 时间:
2020-06-26 18:08:20
阅读次数:
59
Etcd 是一个分布式键值存储系统,Kubernetes使用Etcd进行数据存储,所以先准备一个Etcd数据库,为解决Etcd单点故障,应采用集群方式部署,这里使用3台组建集群,可容忍1台机器故障,当然,你也可以使用5台组建集群,可容忍2台机器故障。 1 准备cfssl证书生成工具 cfssl是一个 ...
分类:
其他好文 时间:
2020-06-21 13:44:36
阅读次数:
57