大数据核心技术

时间：2016-03-24 10:22:55 阅读：144 评论：0 收藏：0 [点我收藏+]

标签：

Common：在2.2.0以前的大多数版本中，包含HDFS、MapReduce和其他项目公共内容，从2.2.0开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common。
Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
MapReduce：并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，2.2.0版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS：Hadoop分布式文件系统(Hadoop Distributed FileSystem)。
Pig：大数据分析平台，为用户提供多种接口。
Hive：数据仓库工具，由Facebook贡献。
Hbase：类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
Sqoop：Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
Oozie：负责MapReduce作业调度。

大数据核心技术

标签：

原文地址：http://blog.csdn.net/fanyun_01/article/details/50968546

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行