ZooKeeper 是 Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper 的架构通过冗余服务实现高可用性。 Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简 ...
分类:
其他好文 时间:
2021-03-15 11:00:34
阅读次数:
0
一、基本特征 1. 并发 并发是指宏观上在一段时间内能同时运行多个程序,而并行则指同一时刻能运行多个指令。 并行需要硬件支持,如多流水线、多核处理器或者分布式计算系统。 操作系统通过引入进程和线程,使得程序能够并发运行。 2. 共享 共享是指系统中的资源可以被多个并发进程共同使用。 有两种共享方式: ...
分类:
其他好文 时间:
2020-12-19 13:01:41
阅读次数:
2
可靠的分布式计算系统和应用程序已成为杰出业务的基石,尤其是在自动化和管理关键任务业务流程以及向客户提供服务方面。作为这些系统和应用程序的开发人员和系统管理员,您应该提供各种信息技术(IT)解决方案,以确保您拥有最高效的系统。这包括为系统/应用程序性能,可靠性,可用性和可伸缩性设计,测试和实施策略等任务,以为最终用户提供令人满意的服务水平。缓存是您可以依赖的许多非常基本但有效的应用程序交付技术之一。
分类:
系统相关 时间:
2020-11-07 15:35:43
阅读次数:
33
1. NoSQL简介 NoSQL(NoSQL = Not Only SQL ),非关系型数据库,也意"not only SQL"。 通过应用实践证明,关系模型是非常适合于客户服务器编程,远远超出预期的利益,今天它是结构化数据存储在网络和商务应用的主导技术。 1.1 RDBMS vs NoSQL RD ...
分类:
数据库 时间:
2020-03-28 00:51:53
阅读次数:
106
操作系统 操作系统的基本特性 并发,共享,虚拟,异步 并发是指宏观上在一段时间内能同时运行多个程序,而并行则指同一时刻能运行多个指令。 并行需要硬件支持,如多流水线、多核处理器或者分布式计算系统。 操作系统通过引入进程和线程,使得程序能够并发运行。 共享是指系统中的资源可以被多个并发进程共同使用。 ...
分类:
其他好文 时间:
2020-03-07 12:36:43
阅读次数:
75
今天突然很想聊聊分布式系统,首先这个系统是需要划分出层次的; 分布式系统包括有很多,包括分布式计算系统,比如hadoop, 还有分布式机器调度系统;k8s是一套容器编排系统 分布式存储系统; 他们干的事情有什么区别呢? 是一套容器编排系统 他们有什么区别呢? 没有什么区别,都是有一个中心节点,这些中 ...
分类:
其他好文 时间:
2019-12-24 23:25:35
阅读次数:
89
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件,提交给HDFS的 (用以存放文件目录树,权限设置,副本数设置等 ...
分类:
其他好文 时间:
2019-08-13 17:25:04
阅读次数:
89
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS :分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn:分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类:
其他好文 时间:
2019-08-13 00:44:13
阅读次数:
88
MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软 ...
分类:
其他好文 时间:
2019-05-26 17:53:08
阅读次数:
109
在一个分布式计算系统中,为了保证数据的一致性需要对数据进行一致性快照。Flink和spark在做流失计算的时候都借鉴了chandy-lamport算法的原理,这篇文章就是对chandy-lamport算法原理的详细介绍。 考虑一个分布式计算系统。 其中有两个节点,也就是两个进程,p和q,s0,s1对 ...
分类:
编程语言 时间:
2019-02-10 23:31:24
阅读次数:
381