一、说明 本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充,基于完全分布式做高可用搭建。。。。。。 二、原理 Hadoop1.X中只有一个NameNode,所有元数据信息都被这个NameNode管理,存在两个问题:单点故障和内存压力大,所以在Hadoop2.X中对两个存在的问题分别有 ...
分类:
其他好文 时间:
2019-05-06 18:46:55
阅读次数:
132
实时同步概述: 什么时实时同步:只要当前目录发生变化则会触发一个事件,事件触发后将变化的目录同步至远程服务器 为什么要用实时同步:保证数据的连续性,减少人力维护成本,解决NFS单点故障 实时同步实现原理:实时同步需要借助Inotify通知接口,用来监控目录的变化,如果监控的目录发生变更,则触发动作 ... ...
分类:
其他好文 时间:
2019-05-02 15:52:37
阅读次数:
159
Windows下Memcached在.Net程序中的实际运用(从Memcached客户端Enyim的库的编译到实际项目运用) 1、一点基础概念 2、获取EnyimMemcached客户端的源代码并编译出动态库 3、Memcached的服务器安装(windows server) 4、在web项目中实战 ...
转自:https://www.cnblogs.com/kevingrace/p/6138185.html 负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的!做好负载均衡架构,可以实现故障转移和高可用环境,避免单点故障,保证网站健康持续运行。关于负载均衡介绍,可以参考:linu ...
分类:
其他好文 时间:
2019-04-23 12:44:42
阅读次数:
175
在企业的网络设计中,一般都会设计具有冗余的拓补结构。因为单一的链路会导致单点故障,提高故障发生的概率。越是大型的网络,对冗余性要求越高。但是,当网络具有冗余性之后,就会产生一些问题,比如:1.广播风暴当广播帧经过交换机时,交换机就会以指数的形式生成广播帧(交换机从除收到该广播帧之外的所有端口转发广播帧)。这种广播帧会越来越多,最后形成广播风暴,导致网络瘫痪。这种广播风暴只有在物理环路消失时才可能停
分类:
其他好文 时间:
2019-04-22 21:09:29
阅读次数:
376
etcd是将数据存储在集群中的高可用k-v存储。允许应用实时监听存储中的k-v变化。能容忍单点故障,能够应对网络分区。(raft是一个分布式协议,管理的是日志;etcd管理的是k-v,把k-v放到日志里,kv就编程分布式集群了)(调用者写入请求发给leader请求写入k-v,leader会将日志实时向follower们复制,leader不会立即返回给调用者,会马上往集群follower做日志拷贝。
分类:
其他好文 时间:
2019-04-19 21:28:21
阅读次数:
255
Kubernetes能够做什么,受到业内这么多的追捧?
它是一个容器管理平台,用于管理微服务架构,理论上它可以管理约300,000个容器。假如按一个微服务需要30个容器计算,那么它可以编排管理1w个微服务应用。这种强大的性能,与其优秀的架构设计有关,其中关键点是其API设计属于声明式的。
Tips:
系统接口控制方式有“命令式”和“声明式”两种设计模式。
命令式设计,相当于独揽所有权力,例如用户要在10台机上部署10个容器,它就一个个的亲自去干活去了。这样的系统有着效率低下、单点故障、无法扩展等问题,随着系统规划扩大,问题会越来越严重,最后直到奔溃。
声明式设计,相当一块通告板,用户把不同的任务写在纸条贴在板上,然后号召一群小伙伴来处理;他们分别处理完不同任务并在纸条上记录结果,直到所有预期的结果全部完成。这样的系统可用性高,即使部分任务缺失也不影响其它任务,而且工作效率更高。
分类:
Web程序 时间:
2019-04-17 09:49:50
阅读次数:
177
1. 简述常用高可用技术 解答: Keepalived:Keepalived是一个保证集群高可用的服务软件,用来防止单点故障,使用VRRP协议实现。在master和backup之间通过master主动降低自己的权值或者backup检测到master出现故障时,backup将会接管master的工作, ...
分类:
系统相关 时间:
2019-04-09 18:13:13
阅读次数:
190
2pc 2pc解决的是分布式事务问题。 2pc分为提交事务请求阶段和执行事务提交。 1. 提交事务请求阶段 1.1 协调者向所有参与者发送事务内容,询问是否可以执行事务提交操作,等待响应或超时 1.2 各参与者执行事务操作,写入undo和redo日志 1.3 参与者返回响应 2. 执行事务提交 2. ...
分类:
其他好文 时间:
2019-04-02 00:26:45
阅读次数:
243
组网方案的可靠性测试,可归纳为以下几大类:1、网络系统持续长时间、大压力高负荷、高频率震荡条件下的持续运行能力,即Duration测试。2、网络系统告警管理功能、系统故障定位手段能力评估。3、单点故障情况下系统自动恢复时间。 ...
分类:
其他好文 时间:
2019-03-28 19:28:15
阅读次数:
235