HDFS分布式文件系统概述 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名： hdp01 对应的ip地址：192.168.11.25 主机名： hdp02 对应的 ...
分类：
其他好文 时间：
2020-01-01 09:29:00
阅读次数：
85
近日，华为TaiShan服务器与大道云行分布式文件存储系统XDFS亚博官网（yb1s.in）完成兼容性认证测试，并发布联合解决方案。此次验证围绕数据中心软硬件环境、性能测试等多方面开展。从承载业务性能测试和并发压力测试等多项结果来看，基于鲲鹏处理器的XDFS在测试中运行稳定、性能优异。本次认证及解决 ...
分类：
其他好文 时间：
2019-12-30 11:16:14
阅读次数：
70
一、MFS简介：MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。（1）优势：1、高可靠（数据的多个拷贝被存储在不同的计算机上）；2、通过附加新的计算机或者硬盘可以实现容量的动态扩展；3、删除的文件可以根据一个可配置的时间周期进行保留（一个文件系统级别的回收站）；4、不受访问和写入影响的文件连贯快照。（2）体系结构：1、管理服
分类：
其他好文 时间：
2019-12-29 23:47:53
阅读次数：
101
一、HDFS的写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ④检查通过，NN响应客户端可以上传 ⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M ...
分类：
其他好文 时间：
2019-12-27 09:28:58
阅读次数：
183
本篇文章讲述了MFS分布式文件系统的原理、储存方式、部署方法等，希望对大家有所帮助！！！
分类：
其他好文 时间：
2019-12-27 09:15:13
阅读次数：
121
实验环境#开启5台虚拟机（centos7），四条节点服务器分别添加四块硬盘node1：192.168.52.149node2：192.168.52.132node3：192.168.52.128node4：192.168.52.135client：192.168.52.133#分别设置虚拟机名称，方便识别hostnamectlset-hostnamenode1hostnamectlset-host
分类：
其他好文 时间：
2019-12-26 17:49:17
阅读次数：
116
一、Hbase基本原理 1、hbase基本介绍 HBASE是一个分布式的，面向列的开源数据库。Hbase的存储是基于hadoop的。因为Hadoop实现了一个分布式文件系统（HDFS），基于hadoop意味着hbase与生俱来的超强的扩展性和吞吐量，hbase采用的是key、value的存储方式。意 ...
分类：
数据库 时间：
2019-12-26 17:38:01
阅读次数：
82
一、MFS简介：MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。（1）优势：1、高可靠（数据的多个拷贝被存储在不同的计算机上）；2、通过附加新的计算机或者硬盘可以实现容量的动态扩展；3、删除的文件可以根据一个可配置的时间周期进行保留（一个文件系统级别的回收站）；4、不受访问和写入影响的文件连贯快照。（2）体系结构：1、管理服
分类：
其他好文 时间：
2019-12-26 16:23:42
阅读次数：
92
GlusterFS概述GlusterFS简介?开源的分布式文件系统?由存储服务器，客户端以及NFS/Samba存储网关组成?无元数据服务器RDMA:负责数据传输GlusterFS的特点?扩展性和高性能?高可用性?全局统一的命名空间?弹性卷管理?基于标准协议GlusterFS术语?Brick：存储节点?Volume：卷?FUSE：内核模块，用户端的交互模块?VFS：虚拟端口?Glusterd：服务模
分类：
其他好文 时间：
2019-12-26 14:42:29
阅读次数：
150
一：Fastdfs简介 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载 ...
分类：
其他好文 时间：
2019-12-26 13:33:47
阅读次数：
108
