HBase通常安装在Hadoop HDFS上,但也能够安装在其它实现了Hadoop文件接口的分布式文件系统上。如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储能够由不论什么商品等硬件x ...
分类:
系统相关 时间:
2017-06-19 12:44:58
阅读次数:
298
1. HADOOP背景介绍 1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3. HADOOP的核心组件有 A. HDFS(分布式文件系统) B. YARN(运算资源 ...
分类:
其他好文 时间:
2017-06-17 14:22:15
阅读次数:
197
hadoop家族产品 1)Apache Hadoop:是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件框架。 2)Apache Hive:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张数据库表, ...
分类:
其他好文 时间:
2017-06-16 16:40:19
阅读次数:
119
1.背景GlusterFS是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA(一种支持多并发链接的“转换线缆”技术)网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。Glu..
分类:
其他好文 时间:
2017-06-15 22:51:52
阅读次数:
276
LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。 宗旨 编辑 宗旨 使用集群技术和Linux操作系统实现一个高性能、高可用的服务器. 很好的可伸缩性(Scala ...
分类:
系统相关 时间:
2017-06-15 20:35:04
阅读次数:
283
一、概述 近年来,大数据技术如火如荼,怎样存储海量数据也成了当今的热点和难点问题,而HDFS分布式文件系统作为Hadoop项目的分布式存储基础,也为HBASE提供数据持久化功能,它在大数据项目中有很广泛的应用。 Hadoop分布式文件系统(Hadoop Distributed File System ...
分类:
编程语言 时间:
2017-06-14 14:20:06
阅读次数:
275
平台简介Jeesz是一个分布式的框架,提供项目模块化、服务化、热插拔的思想,高度封装安全性的JavaEE快速开发平台。Jeesz本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术使用Maven..
分类:
其他好文 时间:
2017-06-09 17:37:34
阅读次数:
270
http://blog.csdn.net/xingjiarong/article/details/50559849 一、FastDFS简介 FastDFS是一款开源的、分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发。作为一个分布式文件系统,它对文 ...
分类:
其他好文 时间:
2017-06-09 14:05:18
阅读次数:
153
数据平台架构图 HDFS:Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HD ...
分类:
其他好文 时间:
2017-06-09 14:04:51
阅读次数:
127