课程大纲（HDFS详解） Hadoop HDFS 分布式文件系统DFS简介 HDFS的系统组成介绍 HDFS的组成部分详解 副本存放策略及路由规则 命令行接口 Java接口 客户端与HDFS的数据流讲解 学习目标： 掌握hdfs的shell操作 掌握hdfs的java api操作 理解hdfs的工作 ...
分类：
其他好文 时间：
2019-04-11 16:05:57
阅读次数：
124
使用Webupload插件上传图片到FastDFS分布式文件系统。 前提条件：1.已安装FastDFS分布式文件系统 2.使用webuploader插件上传文件 3.maven工程已引入FastDFS依赖 图片上传及图片回显部分代码如下： ...
分类：
Web程序 时间：
2019-04-11 01:37:48
阅读次数：
236
文件系统分类Linux:ext2(CentOS5);ext3,ext4(CentOS6);xfs,btrfs(CentOS7)Linux虚拟文件系统:VFS(virtualfilesystem)Windows:fat32,NTFS网络文件系统：NFS,CIFS集群文件系统:GFS2,DCFS2分布式文件系统：ceph,moosefs,mogilefs根据其是否支持‘Journal‘
分类：
系统相关 时间：
2019-04-10 16:34:43
阅读次数：
188
linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
1、hadoop 工作原理： a.首先 概括里面的角色（HDFS 、Mapreduce） b.讲解各个角色的整体架构 HDFS： 概念： 分布式文件系统，用于海量数据存储。 架构： master/slave 架构 ：1个Namenode和多个Ddatanode。 工作原理： Namenode：(项目 ...
分类：
其他好文 时间：
2019-04-05 21:32:15
阅读次数：
205
1、简介：FastDFS是用C语言编写的一款开源的分布式文件系统，FastDSF充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等特点，使用FastDFS可以很容易的搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 2、原理：FastDFS系统结构如下图所示： FastDF ...
分类：
其他好文 时间：
2019-04-05 00:23:41
阅读次数：
175
Hadoop是分布式文件系统 并行处理系统：高效存储和高效处理组件 Mapreduce，函数式编程机制，分Map阶段和reduce阶段，他不但是一个编程方式，同时也是个运行框架，它分两个阶段 Map阶段：抽取各个键值对生成键值对结果集（一般存在本地），这些键值对存储下来并进行排序 reduce阶段： ...
分类：
其他好文 时间：
2019-03-28 19:29:04
阅读次数：
182
基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 ...
分类：
其他好文 时间：
2019-03-28 00:09:31
阅读次数：
158
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。
分类：
其他好文 时间：
2019-03-21 15:47:01
阅读次数：
142
1.什么是Hadoop 管理网络中跨多台计算机存储的文件系统称为分布式文件系统面临的挑战：使文件系统能容忍节点故障且不丢失任何数据不适合的特点：低时间延迟的数据访问&大量的小文件&多用户写入，任意修改文件 2. HDFS的概念元数据hdfs的目录结构及每一个文件的块信息（块的ID,块的副本数量，块的 ...
分类：
其他好文 时间：
2019-03-16 09:39:18
阅读次数：
231
