Hadoop是分布式文件系统 并行处理系统：高效存储和高效处理组件 Mapreduce，函数式编程机制，分Map阶段和reduce阶段，他不但是一个编程方式，同时也是个运行框架，它分两个阶段 Map阶段：抽取各个键值对生成键值对结果集（一般存在本地），这些键值对存储下来并进行排序 reduce阶段： ...
分类：
其他好文 时间：
2019-03-28 19:29:04
阅读次数：
182
基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 ...
分类：
其他好文 时间：
2019-03-28 00:09:31
阅读次数：
158
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。
分类：
其他好文 时间：
2019-03-21 15:47:01
阅读次数：
142
1.什么是Hadoop 管理网络中跨多台计算机存储的文件系统称为分布式文件系统面临的挑战：使文件系统能容忍节点故障且不丢失任何数据不适合的特点：低时间延迟的数据访问&大量的小文件&多用户写入，任意修改文件 2. HDFS的概念元数据hdfs的目录结构及每一个文件的块信息（块的ID,块的副本数量，块的 ...
分类：
其他好文 时间：
2019-03-16 09:39:18
阅读次数：
231
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 ...
分类：
其他好文 时间：
2019-03-15 19:05:06
阅读次数：
151
本次环境的搭建参考了 https://blog.csdn.net/qq_43455410/article/details/84797814， 感谢博主。 主要流程如下： 3.docker run -tid --name storage -v ~/storage_data:/fastdfs/stora ...
分类：
其他好文 时间：
2019-03-11 10:41:21
阅读次数：
299
client:192.168.4.10 node1 :192.168.4.11 ndoe2 :192.168.4.12 node3 :192.168.4.13 1.块存储 应用案例（真机访问） rbd池子\镜像共享盘 块存储 Filesystem KRBD Kernel ceph 要求： Ceph创 ...
分类：
其他好文 时间：
2019-03-07 17:53:43
阅读次数：
204
HDFS分布式文件系统 环境准备： 1.安装java环境 2.配置/etc/hosts 3.配置ssh信任关系（NameNode) 配置文件 (参考 : https://hadoop.apache.org/docs/r2.7.6/） 环境配置文件 /usr/local/hadoop/etc/hado ...
分类：
其他好文 时间：
2019-02-28 18:45:41
阅读次数：
148
分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。分布式存储系统分布式存储按其存储接口
分类：
其他好文 时间：
2019-02-27 20:41:33
阅读次数：
235
