分布式理论 一、分布式基本概述 分布式系统是一个内涵极度丰富的领域，单就应用层次而言就设计分布式缓存，分布式存储，分布式文件系统，分布式锁，分布式事务，分布式调度任务，分布式调度计算，分布式消息，分布式采集等。 二、CAP理论 在一个分布式系统(指 互相连接 并 共享数据 的节点的集合)中，当涉及 ...
分类：
其他好文 时间：
2019-01-04 16:10:57
阅读次数：
258
一，分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题，将固定于某个地点的 ...
分类：
其他好文 时间：
2019-01-01 00:16:56
阅读次数：
276
一、概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架，充分利用集群的威力进行高速运算和存储。 二、主要模块Hadoop Common：支持其他Hadoop模块的常用实用程序。Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。Hadoop ...
分类：
其他好文 时间：
2018-12-29 21:13:40
阅读次数：
139
LVS是工作在四层的高性能负载均衡服务器，由于工作在TCP/IP层并不涉及到用户态，摆脱了套接字65535数量的限制，所以性能十分强悍，当然优秀的背后少不了我们国人章文嵩的付出，感谢开源如此优秀的作品。LVS是工作在内核netfilter的INPUT链路上的一组ipvs框架，他的使用有点类似于配置netfilter实现防火墙过滤需要借助iptables这组工具，当然LVS也是如此，只提供了接口，如
分类：
其他好文 时间：
2018-12-29 17:08:59
阅读次数：
262
一、前言 在计算机领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。当然，两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。 二、分布式系统的两种方式 平时接触到的分布式系统有很多种，比如分布式文件系统，分布式数据库，分布式WebSe ...
分类：
其他好文 时间：
2018-12-28 20:41:58
阅读次数：
163
Hadoop Distributed File System 易于拓展的分布式文件系统 运行在大量普通廉价机器上，提供容错机制 为大量用户提供性能不错的文件存取服务 NameNode Namenode是一个中心服务器，==单一节点==（简化系统的设计和实现），==负责管理文件系统的名字空间（name ...
分类：
其他好文 时间：
2018-12-27 03:35:18
阅读次数：
152
1.分布式文件系统存储副本的方式 1).客户端负责写所有副本。例如每个block要存3个副本，客户端要将3个副本都存到DataNode上才算成功 2).客户端是负责写一个副本。剩下的副本由NameNode负责，DataNode向其他DataNode复制（形成一个管道），复制和客户端写block是异步 ...
分类：
其他好文 时间：
2018-12-20 19:00:49
阅读次数：
146
什么是Map、什么是Reduce MapReduce是一个分布式编程计算模型，用于大规模数据集的分布式系统计算。 我个人理解，Map（映射、过滤）就是对一个分布式文件系统（HDFS）中的每一行（每一块文件）执行相同的函数进行处理； Reduce（规约、化简）就是对Map处理好的数据进行两两运算，因此 ...
分类：
其他好文 时间：
2018-12-20 11:54:38
阅读次数：
256
Hadoop分布式文件系统（HDFS）是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的：HDFS具有高度容错能力，旨在部署在低成本硬件上。(高容错)HDFS提供对数据的高吞吐量访问，适用于具有海量数据集的应用程序。（高吞吐量）HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。（流式访问）HDFS最初是作为ApacheNu
分类：
其他好文 时间：
2018-12-19 17:52:56
阅读次数：
167
1、HDFS是做什么的 Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS，hdfs是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（LargeDataSet）的应用
分类：
其他好文 时间：
2018-12-11 18:19:33
阅读次数：
204
