1. Hadoop 最出名的是 MapReduce和 HDFS，不过也有很多其他有用的子项目。 技术栈如下： Core 一系列分布式文件系统和通用I/O的组件和接口（序列化、Java RPC和持久化数据结构） Avro 一种提供高效、跨语言RPC的数据序列系统，持久化数据存储。 MapReduce ...
分类：
其他好文 时间：
2016-04-19 17:02:12
阅读次数：
134
FastDFS功能简介：FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS特点：FastDFS主要..
分类：
其他好文 时间：
2016-04-19 14:30:02
阅读次数：
577
什么是FastDFS FastDFS是一个叫余庆的哥们用c语言编写的一款开源的分布式文件系统 功能有冗余备份、负载均衡、线性扩容等，高可用、高性能 可以用FastDFS搭建一套高性能的文件服务器集群提供文件上传、下载 fastDFS又区别于Hadoop的HDFS，前者用于上传下载文件或者图片 后者用 ...
分类：
系统相关 时间：
2016-04-19 06:21:53
阅读次数：
246
问题导读： 1.什么是分布式文件系统？ 2.怎样分离元数据和数据？ 3.HDFS的原理是什么？ Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用 ...
分类：
其他好文 时间：
2016-04-18 13:23:45
阅读次数：
124
Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.这 ...
分类：
其他好文 时间：
2016-04-18 11:27:43
阅读次数：
230
什么是分布式文件系统？什么是分布式文件系统（DistributedFileSystem）？顾名思义，就是分布式+文件系统。它包含了2方面，从文件系统的客户端的角度来看，他就是一个标准的文件系统，提供了API，由此可以进行文件的创建、删除、读写等操作；从内部来看的话，分布式文件系统则..
分类：
其他好文 时间：
2016-04-15 14:12:39
阅读次数：
166
随着非结构化数据的爆炸，分布式文件系统进入了发展的黄金时期，从高性能计算到数据中心，从数据共享到互联网应用，已经渗透到数据应用的各方各面。对于大多数分布式文件系统(或集群文件系统，或并行文件系统)而言，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，从而获得更高的系统扩展性和I/O并发性。 ...
分类：
其他好文 时间：
2016-04-15 00:15:53
阅读次数：
306
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，搭建Hadoop的运行环境主要分为三种：独立模式环境、伪分布式环境、完全分布式环境。一、独立模式：也叫单机模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地..
分类：
其他好文 时间：
2016-04-13 00:43:24
阅读次数：
143
Hadoop是什么，为什么要学习Hadoop? Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System ...
分类：
其他好文 时间：
2016-04-12 07:07:44
阅读次数：
183
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并 ...
分类：
其他好文 时间：
2016-04-12 00:11:54
阅读次数：
316
