浅析HDFS分布式存储有哪些优势特点近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。那么分布式存储的种类有哪些呢？分布式存储包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等，但其中架构无外乎于三种：A、中
分类：
其他好文 时间：
2020-08-05 00:01:18
阅读次数：
97
HDFS主要解决什么问题，与IPFS有什么不同？近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。由于互联网的业务发展迅猛，使得
分类：
其他好文 时间：
2020-07-23 22:53:39
阅读次数：
109
Hive是个啥？ 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据，避免MapReduce程序分析数据 2.数据存储在HDFS上，不是HIVE上 3.Hive将数据映射成数据库和一张张表，库和表的元数据信息一般存在关系型数据库。 元数据：描述数 ...
分类：
其他好文 时间：
2020-07-13 12:07:13
阅读次数：
73
承接上一篇HDFS实验,学习入门课后的实验真的是以简单为主，后续估计得每个组件一一击破。 Hbase介绍 Hbase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化的数据的分布式存储系统》。HBase中确定一个元素，需要提供表名，行，列族名，列。因为是以列 ...
分类：
其他好文 时间：
2020-07-05 10:24:53
阅读次数：
74
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
一、概述 Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。Ceph有以下优势： 1. CRUSH算法 Crush算法是ceph的两大创新之一，简单来说，c ...
分类：
其他好文 时间：
2020-05-22 12:34:36
阅读次数：
47
分布式系统为了保证其可靠性，一般都会多节点提供服务，各别节点的故障不会影响系统的可用性。对于分布式的存储系统来说，在保证可用性的同时，数据的可靠性（不丢失）也是其要解决的核心问题。目前通用的方案是使用多副本存储。这就会引入一个新的问题，分布式存储系统的又一核心问题——多个副本间的数据一致性保障。所以就有了各种数据一致性协议。例如：Zookeeper的Zab、Etcd使用的Raft和无比复杂的Pax
分类：
其他好文 时间：
2020-05-21 17:45:45
阅读次数：
57
1、Hadoop概述 1.1 Hadoop是什么 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台 1.2 核心组件 分布式存储系统 HDFS（Hadoop Distributed File System），提供了高可靠性、高扩展性和高吞吐 ...
分类：
其他好文 时间：
2020-04-25 19:07:28
阅读次数：
107
介绍 etcd是一款高性能的开源的分布式key-value分布式存储系统，可以用于配置共享和服务的注册与发现等功能。类似于zookeeper和consul。 etcd的官网：https://etcd.io/ etcd应用场景 1.服务注册与发现（Service Discovery）。 服务注册发现一 ...
分类：
其他好文 时间：
2020-03-18 11:28:08
阅读次数：
86
1、专用模式，实现90%空间利用率纠删码及副本模式是在分布式存储系统中广泛应用的横向扩展模式，副本模式存储空间损耗最大，其次纠删码模式，但Infortrend自主研发的专用扩展模式，优于前两者,能最大化的实现高IO吞吐率，将空间利用率提升至90%，RAID空间占比小,剩余可用空间多,也就间接减少了硬件采购需求，成为节约成本的一大助力。2、三重混合系统模式。按需选用InfortrendCS又可称之为
分类：
其他好文 时间：
2020-02-20 15:22:42
阅读次数：
81
