Hadoop学习系列笔记一：搭建hadoop源码阅读环境

标签：

本文来源于《Hadoop技术内幕深入解析Hadoop common和HDFS架构设计与实现原理》

一、Hadoop基本概念

• Hadoop是Apache基金会下的一个开源分布式计算平台，以Hadoop分布式文件系统(HDFS)和MapReduce分布式计算框架为核心，为用户提供了底层细节透明的分布式基础设施。
• HDFS的高容错性、高伸缩性等优点，允许用户将Hadoop部署在廉价的硬件上，构建分布式系统。
• MapReduce分布式计算计算框架则允许用户在不了解分布式系统底层细节的情况下开发并行、分布的应用程序，允许利用大规模的计算资源，解决传统高性能单机无法解决的大数据处理问题。

二、Hadoop的优点

• 方便：Hadoop可以运行在一般的商业机器构成的大型集群上，或者云计算服务上
• 弹性：Hadoop通过增加集群节点，可以线性地扩展以处理更大的数据集。同时，在集群负载下降时，也可以减少节点，以高效地使用计算资源
• 健壮：可以从容处理通用计算平台上出现的硬件失效的情况
• 简单：Hadoop允许用户快速地编写出高效的并行分布式代码

 三、Hadoop的生态圈

• Hadoop Common：为hadoop的其他项目提供了一些常用的工具，主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为通用硬件上搭建云计算环境提供了基本服务，并为运行在该平台上的软件开发提供需要的API
• Avro是一个数据序列化系统。类似于其他序列化机制，Avro可以将数据结构或者对象转换成便于存储和传输的格式，其设计目标是用于支持数据密集型应用，适合大规模数据的储存和交换。Avro提供了丰富的数据结构类型，快速可压缩的二进制数据格式、存储持久性数据的文件集，远程调用RPC和简单动态语言集成等功能

Hadoop学习系列笔记一：搭建hadoop源码阅读环境

标签：

原文地址：http://www.cnblogs.com/ChenKeng/p/4298814.html