大数据知识学习及云计算

标签：导出   虚拟   pig   迭代   zook   sqoop   分布式文件系   article   mba   

https://www.cnblogs.com/xing901022/p/6195422.html

介绍知识点

大数据技术原理与应用视频

https://blog.csdn.net/CSDN_fzs/article/details/78984845

http://dblab.xmu.edu.cn/blog/285/

handoop

包括开源项目：

• common
• hdfs 分布式文件系统
• hbase 分布式数据库 随机读写、列数据
• yarn 计算资源调度
• mapreduce 磁盘离线批处理计算
• spart 内存实时计算
  
• hive、 pig(轻量流数据) 数据仓库(创建一系列mapreduce作业，支持sql,olap联机分析)
• oozie 作业流调度 工作流管理
• zookeeper 分布式协调服务
• flume 日志收集

• sqoop 数据导入导出 传统数据库数据传递 导入到hdfs hbase hive等

• ambari handoop 快速部署工具

计算类型：

• 批处理计算 代表：mapreduce
• 实时计算 代表：spark -- 高效迭代计算
• 图计算
• 交互式查询分析计算

云计算

分布式存储及计算
虚拟化及多租户

• Iaas 底层基础设施即服务
• Paas 平台即服务
• Saas 软件即服务

大数据知识学习及云计算

标签：导出   虚拟   pig   迭代   zook   sqoop   分布式文件系   article   mba   

原文地址：https://www.cnblogs.com/antball/p/9070956.html