下面我们来学习Windows Server 2008文件服务器,文件服务器对于企业是相当重要的,所有的资料都保存在文件服务器上面,对于整个企业来说数据算得上是最重要的东西,下面介绍一下文件服务器的搭建以及管理,包括共享权限,以及多次共享一个文件夹,还有默认共享及隐藏共享,还有分布式文件系统搭建,怎样 ...
是什么? FastDFS是一个轻量级分布式文件系统。 能干嘛? 对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等。 相关概念 一、网络拓扑图 对上图的基本了解,client是客户端,tracker和storage是FastDFS系统的俩个角色。 二、详细了解tracke ...
分类:
其他好文 时间:
2019-08-16 17:04:49
阅读次数:
90
Hadoop三大组件: 分布式文件系统:HDFS —— 实现将文件分布式存储在很多的服务器上(分布式存储) 分布式运算编程框架:MapReduce——实现多台机器的分布式并行运算。(分布式运算) 分布式资源调度平台:YARN —— 帮用户调度大量的mapreduce程序,并合理分配运算资源 Hive ...
分类:
其他好文 时间:
2019-08-14 14:26:48
阅读次数:
115
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件,提交给HDFS的 (用以存放文件目录树,权限设置,副本数设置等 ...
分类:
其他好文 时间:
2019-08-13 17:25:04
阅读次数:
89
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三 ...
分类:
其他好文 时间:
2019-08-13 00:53:23
阅读次数:
203
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS :分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn:分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类:
其他好文 时间:
2019-08-13 00:44:13
阅读次数:
88
一、Ceph简介: Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ...
分类:
其他好文 时间:
2019-08-11 21:19:12
阅读次数:
105
hadoop集群安装模式 1)单机模式 直接解压,无需任何配置。主要用于测试代码。没有分布式文件系统。 2)伪分布式 完全分布式的一种形式,只是所有的进程都配置要一个节点上。有分布式文件系统,只不过是这个文件系统只有一个节点。 3)完全分布式 包含主节点和从节点,主节点namenode只有一个(一般 ...
分类:
其他好文 时间:
2019-08-01 09:43:21
阅读次数:
117
IT知识架构客户冰箱+牛奶+模具=(结果)(雪糕)牛奶:数据存储:磁盘(共享)1.SAN,NAS,DAS(专门将数据存储于磁盘阵列)2.分布式存储架构(HDFS)---------集群(应用)Hadoop分布式文件系统冰箱:系统:Linux只有Linux系统可以承载大数据应用模具:1.map-reduces数据处理集群,它是将海量数据按照一定的方式,修改为键值关系HDFS+map-reduces=
分类:
其他好文 时间:
2019-07-31 11:22:38
阅读次数:
119
1.下载fastdfs-client-java源码 https://github.com/happyfish100/fastdfs-client-java 2.修改pom.xml文件 添加打包插件 3.打包至本地mvn仓储 在pom.xml所在目录打开cmd控制台 输入mvn clean insta ...
分类:
编程语言 时间:
2019-07-30 11:06:01
阅读次数:
265