一、前言 以下简介摘自官方 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase， ...
分类：
其他好文 时间：
2016-11-25 20:16:04
阅读次数：
898
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 ...
分类：
数据库 时间：
2016-11-24 06:38:33
阅读次数：
250
HBase概念学习（十）HBase与MongDB等NoSQL数据库对照 HBase概念学习（十）HBase与MongDB等NoSQL数据库对照 转载请注明出处： jiq?钦's technical Blog - 季义钦 一、开篇 淘宝之前使用的存储层架构一直是MySQL数据库，配合以MongDB，T ...
分类：
数据库 时间：
2016-11-22 12:52:43
阅读次数：
219
FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以负载均衡的方式访问；存储服务包括：文件存储，文件同步，提供..
分类：
其他好文 时间：
2016-11-21 11:29:48
阅读次数：
345
防伪码：我没有太多坚强，只比苦难多一点第十一章MFS分布式文件系统前言：几台Web服务器通过NFS共享一个存储，在业务功能上满足需求，但在性能与容量上NFS无法胜任更高的要求。MFS即moosefs,可以提供容量FB级别的共享存储，无需昂贵的专业硬件服务器，自身拥有冗余功能及动态扩..
分类：
其他好文 时间：
2016-11-21 02:16:27
阅读次数：
287
1.存储与文件系统 存储设备 存储设备（常见的是磁盘/硬盘，固态硬盘） 文件系统 文件系统是操作系统用于存储设备或分区上的文件的方法和数据结构 分布式文件系统 文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过网络与节点相连 2.分布式文件系统 3.常见的分布式文件系统有： GFS： G ...
分类：
其他好文 时间：
2016-11-20 07:16:04
阅读次数：
215
1.Hadoop是什么? 适合大数据的分布式存储与计算平台 HDFS: Hadoop Distributed File System分布式文件系统 MapReduce：并行计算框架 2.Hadoop生态圈 ①HBase Google Bigtable的开源实现 列式数据库 可集群化 可以使用shel ...
分类：
其他好文 时间：
2016-11-20 07:09:00
阅读次数：
156
MFS分布式文件系统实验环境：在公司内部通过nfs方式共享一个服务器的存储空间，使得nfs服务器不堪重负，经常出现超时问题，为了提高整个系统的性能，所以采用mfs分布式文件系统，mfs分布式文件系统是一个具有容错功能、高可用、可扩展的海量级分布式文件系统，mfs把数据分散在..
分类：
其他好文 时间：
2016-11-18 08:04:40
阅读次数：
277
DFS分布式文件系统--管理篇参考文档：浅谈DFS分布式文件系统DFS命名空间和DFS复制概述续DFS分布式文件系统--基础篇DFS分布式文件系统--部署篇添加命名空间服务器（添加第二台命名空间服务器NameSrv02)成功后如下图：“从显示区域隐藏命名空间”和“添加要显示的命名空间”。可..
分类：
其他好文 时间：
2016-11-18 08:01:29
阅读次数：
1017
DFS分布式文件系统--基础篇DFS是将相同的文件同时存储到网络上多台服务器上后，就可以有以下功能和优点：提高文件的访问效率：DFS服务器会向客户端提供一个服务器列表，列表中的这些服务器内部有客户端所需要的文件。DFS会将最接近客户端的服务器，放在列表最前面，以便让客户..
分类：
其他好文 时间：
2016-11-17 21:26:56
阅读次数：
369
