FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。其工作流程如下：1、tracker：是一个调度器，Fastdfs进程就是Fastdfs进程程序，trackers做了很多工作，replication（节点复制），deletion
分类：
其他好文 时间：
2018-06-25 11:02:07
阅读次数：
647
hbase: 分布式面向列的数据库，构建在hadoop之上，对海量结构化数据的快速随机访问。是hadoop生态系统的一部分，提供随机实时读写。hbase和hadoop的区别： hdfs hbase 1.分布式文件系统，存储大量数据 数据库 2.不支持快读单个记录查找 支持大表的快速查找 3.提供了高 ...
分类：
其他好文 时间：
2018-06-25 01:10:19
阅读次数：
154
上篇文章介绍了如何使用Spring Boot上传文件，这篇文章我们介绍如何使用Spring Boot将文件上传到分布式文件系统FastDFS中。 这个项目会在上一个项目的基础上进行构建。 1、pom包配置 我们使用Spring Boot最新版本1.5.9、jdk使用1.8、tomcat8.0。 <d ...
分类：
编程语言 时间：
2018-06-23 22:41:14
阅读次数：
254
1.概述 大数据时代，数据的存储与挖掘至关重要。企业在追求高可用性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本，而Hadoop为实现这些需求提供了解决方案。面对Hadoop的普及和学习热潮，笔者愿意分享自己多年的开发经验，带领读者比较轻松地掌握Hadoop数据挖掘的相关知识。这边是笔 ...
分类：
其他好文 时间：
2018-06-22 21:49:11
阅读次数：
706
一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计 ...
分类：
其他好文 时间：
2018-06-22 21:44:10
阅读次数：
274
环境 | ip | fastdfs role | | : : | : : | | 192.168.1.115 | Tracker +Storage | | 192.168.1.104 | Tracker +Storage | | 192.168.1.106 | Tracker +Storage | ...
分类：
其他好文 时间：
2018-06-22 01:12:09
阅读次数：
277
1、GlusterFS简述 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源并不直接与本地节点相连，而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成，结构上是典型的客户机/服务器模式。流行的模式是当 ...
分类：
其他好文 时间：
2018-06-21 22:38:58
阅读次数：
181
1、GlusterFS概述 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一 ...
分类：
其他好文 时间：
2018-06-21 22:26:22
阅读次数：
247
Hadoop集群搭建（完全分布式） 这里设置了NameNode的地址，是在ruixuan.com这台主机上，设置hadoop的临时目录，自己指定。 replication的是副本数，意思是一个文件需要在HDFS分布式文件系统中保存几分，建议 DataNode的数量应大于等于replication。 ...
分类：
其他好文 时间：
2018-06-20 12:50:56
阅读次数：
179
