kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有 ...
分类：
其他好文 时间：
2019-01-21 13:46:36
阅读次数：
110
环境引入： 在一个大型的教育官网，会拥有大量优质的视频教程，并且免费提供给用户去下载，文件太多如果高效存储？用户访问量大如何保证下载速度？分布式文件系统是解决这些问题的有效方法之一 一、什么是文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一 ...
分类：
其他好文 时间：
2019-01-20 14:06:36
阅读次数：
182
分布式图片服务器FastDFS 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上 ...
分类：
其他好文 时间：
2019-01-20 13:50:16
阅读次数：
230
Spring Boot(十八)：使用Spring Boot集成FastDFS 环境：Spring Boot最新版本1.5.9、jdk使用1.8、tomcat8.0 功能：使用Spring Boot将文件上传到分布式文件系统FastDFS中。 一、pom包配置 加入了fastdfs-client-ja ...
分类：
编程语言 时间：
2019-01-15 14:35:23
阅读次数：
175
GlusterFS分布式存储系统 一，分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的 ...
分类：
其他好文 时间：
2019-01-13 11:41:20
阅读次数：
252
实验目标 搭建一个Hadoop系统，包含分布式文件系统HDFS、分布式计算框架MapReduce。 实验原理 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还 ...
分类：
其他好文 时间：
2019-01-12 10:31:40
阅读次数：
211
项目应用实现分布式部署 不关心硬件细节。 mesos 分布式文件系统 excutor(调度器) -> master（选举只有一个Master 还有被的standby.master） -> slave（执行任务）->若干个task(跑的一个个实例) marthon 通过application实例 自动 ...
分类：
其他好文 时间：
2019-01-11 20:14:37
阅读次数：
180
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源 Google File Sy ...
分类：
其他好文 时间：
2019-01-07 21:02:02
阅读次数：
216
hadoop生态系统如下图所示： HDFS： HDFS（Hadoop Distributed File System）是分布式文件系统，是针对谷歌开发的分布式文件系统GFS（Google File System）的开源实现，是Hadoop两大核心组成部分之一。 HDFS有NameNode和DataN ...
分类：
其他好文 时间：
2019-01-04 23:33:32
阅读次数：
344
