MooseFS安装及双机热备MooseFS--分布式文件系统,它由4个部分组成:master、metalogge、chunkserver、client。Master是mfs的大脑,记录着管理信息,比如:文件大小,存储的位置,份数等,这些信息被记录到metadata.mfs中,当该文件被载入内核后,该文件会重命名为metadata.mfs...
分类:
其他好文 时间:
2016-07-11 19:39:16
阅读次数:
380
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了。Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括Zo ...
分类:
其他好文 时间:
2016-07-11 17:08:29
阅读次数:
150
Hive是构建在hadoop之上的数据仓库。 1)数据计算是MapReduce 2)数据存储是HDFS 认识 Hive Hive 是基于 Hadoop 构建的一套数据仓库分析系统,它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据, 可以将结构化的数据文件映射为一张数 ...
分类:
其他好文 时间:
2016-07-11 12:03:53
阅读次数:
221
hadoop是一个分布式文件系统(HadoopDistributedFileSystem)HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败..
分类:
其他好文 时间:
2016-07-11 10:45:53
阅读次数:
416
目前常见的分布式文件系统有很多种,例如我之前一篇文章里面提到的Hadoop、FastDFS、Moosefs、PNFS(ParallelNFS)、Lustre、TFS、GFS、HDFS等等一系列。在众多的分布式文件系统解决方案中,MFS是搭建比较简单、使用起来也不需要过多的修改web程序,非常方便。MooseFS(MFS)是一..
分类:
其他好文 时间:
2016-07-11 01:38:40
阅读次数:
476
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部..
分类:
其他好文 时间:
2016-07-07 11:12:51
阅读次数:
431
1. FastDFS适用的场景以及不适用的场景? FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。 出于简洁考虑,FastDFS没有对文件做分块存储,因此不太适合分布式计算场景。不太适合 ...
分类:
其他好文 时间:
2016-07-05 20:25:22
阅读次数:
543
HDFS:分布式文件系统 MapReduce:分布式计算框架 Sqoop:数据库ETL工具 Flume:日志收集工具 Mahout:数据挖掘库 Hive:数据仓库 Pig:数据流处理 HBase:实时分布式数据库 Zookeeper:分布式协作服务 ...
分类:
其他好文 时间:
2016-07-01 20:14:23
阅读次数:
166
HDFS:(Hadoop Distributed File System),Hadoop分布式文件系统。 从名字上就看出了它的两点功能。基本功能,存文件,是一个文件系统;另外这个文件系统是分布式的; HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运 ...
分类:
其他好文 时间:
2016-06-29 18:52:27
阅读次数:
174
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用 ...
分类:
其他好文 时间:
2016-06-27 10:19:17
阅读次数:
179