码迷,mamicode.com
首页 > 其他好文 > 详细

大数据-hadoop学习记录

时间:2018-02-27 01:07:26      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:安装   容错性   优化   hdf   dog   base   mapr   工作流   efi   

hadoop 创始人 DogCutting

  高效,可扩展性,高容错性,价格低廉的大数据软件处理架构

  主要应用于数据分析、数据实时查询、数据挖掘领域

HDFS(HadoopDistributeFileSystem 分布式文件系统)

总结:从字面意思我们可以简单理解为:hadoop是用来处理大数据的,HDFS是用来存储大数据的。

 

-*-hadoop项目结构-*-

MapReduce 主要用于离线计算

Tez (DAG计算)基于YAN之上生成无向循环图,优化计算

Spark 和Mapreduce相似在内存中进行运算,性能高

HIve hadoop上的数据仓库(可用于企业数据分析),会把SQL语句转化为MapReduce运行

Pig 一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言PigLatin

Oozie 工作流调度工具

Zookeeper 分布式调度服务

Hbase Hadoop上的非关系型分布式数据库(分布式列数据库)

flume  流数据日志收集分析

Sqoop 在hadoop和传统平台之间互导数据

Ambari 安装部署工具

 

大数据-hadoop学习记录

标签:安装   容错性   优化   hdf   dog   base   mapr   工作流   efi   

原文地址:https://www.cnblogs.com/brownz/p/8476364.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!