课前回顾 及 NFS 共享存储 一、Rsync 备份，基于ssh协议 备份的方式 全备：备份所有的（完整的）数据 增备：基于上一次备份，增量的数据 Rsync的三种工作模式 1.本地模式 类似于cp命令 加/和不加/的区别 加/：拷贝目录下的所有文件 不加/：拷贝目录本身及目录下的所有文件 2.远程 ...
分类：
其他好文 时间：
2019-08-18 17:17:30
阅读次数：
105
1.什么是Hadoop？ Hadoop是一款进行数据处理和分析的软件，包含HDFS（分布式文件存储系统）,MapReduce（分布式计算框架），Yarn（分布式资源调度任务分配框架）。 Hadoop来源于谷歌2003-2004年发布的三篇论文，基于这三篇论文doug cutting( 来自 luce ...
分类：
其他好文 时间：
2019-08-18 14:02:04
阅读次数：
112
是什么？ FastDFS是一个轻量级分布式文件系统。 能干嘛？ 对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等。 相关概念 一、网络拓扑图 对上图的基本了解，client是客户端，tracker和storage是FastDFS系统的俩个角色。 二、详细了解tracke ...
分类：
其他好文 时间：
2019-08-16 17:04:49
阅读次数：
90
初始MongoDB MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 文件型数据库和关系型数据库的区别 Mo ...
分类：
数据库 时间：
2019-08-15 21:27:59
阅读次数：
135
HDFS作为分布式文件管理系统，Hadoop的基础。HDFS体系机构包括：NameNode、DataNode、SecondaryNameNode。Hadoop shell上传的文件是存放在DataNode的block中，通过linux shell只能看到block，不能看到文件。 以下是本章的重点： ...
分类：
其他好文 时间：
2019-08-15 19:18:30
阅读次数：
119
Hadoop三大组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上（分布式存储） 分布式运算编程框架：MapReduce——实现多台机器的分布式并行运算。（分布式运算） 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源 Hive ...
分类：
其他好文 时间：
2019-08-14 14:26:48
阅读次数：
115
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三 ...
分类：
其他好文 时间：
2019-08-13 00:53:23
阅读次数：
203
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类：
其他好文 时间：
2019-08-13 00:44:13
阅读次数：
88
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ...
分类：
其他好文 时间：
2019-08-11 21:19:12
阅读次数：
105
