一、HDFS 的设计思路 1）思路 切分数据，并进行多副本存储； 2）如果文件只以多副本进行存储，而不进行切分，会有什么问题 缺点 缺点 二、HDFS 的设计目标 Hadoop Distributed File System（HDFS）：源于Google 的 GFS 论文； 设计目标 设计目标 三、 ...
分类：
其他好文 时间：
2019-09-02 10:05:10
阅读次数：
294
一、存储卷的类型 emptyDir：在宿主机上分一块内存空间给pod当做存储空间 hostPath：在宿主机上分一块磁盘空间给pod当做存储空间 网络存储： SAN：iSCSI，FC NAS：nfs，cifs 分布式存储：glusterfs，rbd，cephfs，... 云存储：EBS，Azure， ...
分类：
Web程序 时间：
2019-08-31 18:57:13
阅读次数：
125
更多内容，欢迎关注微信公众号：全菜工程师小辉。公众号回复关键词，领取免费学习资料。 一致性hash算法是什么？ 一致性hash算法，是麻省理工学院1997年提出的一种算法，目前主要应用于分布式缓存当中。 一致性hash算法可以有效地解决分布式存储结构下动态增加和删除节点所带来的问题。 在Memcac ...
分类：
编程语言 时间：
2019-08-29 09:20:19
阅读次数：
92
前言 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类 ...
分类：
其他好文 时间：
2019-08-28 17:15:47
阅读次数：
98
在早期的版本中Kubernetes提供了heapster、influxDB、grafana的组合来监控系统，现在更加流行的监控工具是prometheus，prometheus是Google内部监控报警系统的开源版本Prometheus相比于其他传统监控工具主要有以下几个特点：具有由metric名称和键/值对标识的时间序列数据的多维数据模型有一个灵活的查询语言不依赖分布式存储，只和本地磁盘有关通过H
分类：
其他好文 时间：
2019-08-25 00:59:12
阅读次数：
133
一、MooseFS介绍 MooseFS主要由管理服务器（master）、元日志服务器（Metalogger）、数据存储服务器（chunkserver）构成。 管理服务器：主要作用是管理数据存储服务器，文件读写控制、空间管理及节点间的数据拷贝等。 元日志服务器：备份管理服务器的变化日志，以便管理服务器 ...
分类：
其他好文 时间：
2019-08-24 13:18:30
阅读次数：
114
Hadoop： 适合大数据的分布式存储和计算平台
现为Apache顶级开源项目，Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算，适合大数据的分布式存储和计算平台。 ...
分类：
其他好文 时间：
2019-08-24 10:08:07
阅读次数：
82
存储分类：直连式存储，集中式共享存储，分布式存储文件存储，块存储，对象存储DAS，NAS，SANDAS属于直连式存储，将存储设备通过SCSI接口或者光纤通道直接和主板连接，不能实现数据共享NAS和SAN属于集中式共享存储NAS使用NFS和CIFS（原来叫SMB,微软的）协议SAN分为FCSAN和IPSANIPSAN使用iSCSI技术NFS实现linux之间共享，smaba基于CIFS协议，实现li
分类：
其他好文 时间：
2019-08-22 12:43:25
阅读次数：
149
1.hadoop前世今生： 1） 搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2） Doung Cutting 3) Nutch a.分布式存储 b.分布式计算 4）GFS论文 doung cutting写了hdfs 2.hadoop概述 hadoop common:提供网络通信 hadoop ...
分类：
其他好文 时间：
2019-08-16 00:34:16
阅读次数：
122
HDFS作为分布式文件管理系统，Hadoop的基础。HDFS体系机构包括：NameNode、DataNode、SecondaryNameNode。Hadoop shell上传的文件是存放在DataNode的block中，通过linux shell只能看到block，不能看到文件。 以下是本章的重点： ...
分类：
其他好文 时间：
2019-08-15 19:18:30
阅读次数：
119
