HADOOP实战

标签：vmware   外部   单节点   插件   文件加载   字段   eclipse   常用   搭建   

一、软件版本
Centos6.5、VMware 10
CDH5.2.0（Hadoop 2.5.0）
Hive-0.13
sqoop-1.4.5

二、学完课程之后，您可以：
①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监控。
②、玩转Mapreduce编程；
③、玩转Hive使用
④、玩转Sqoop
⑤、独自搞定Hadoop平台的离线分析、统计的工作。成为高端技术人才！

三、课程大纲
1、分布式和传统单机模式
2、Hadoop背景和HDFS详解
3、Mapreduce工作原理剖析
4、Cloudera Manager5.2.0 安装
5、CDH5.2.0用Parcels方式离线安装
6、CM下集群服务管理
7、CM下集群主机管理和Hadoop作业调度策略
8、Hadoop fs 命令详解
9、第二代MR——Yarn原理剖析
10、Linux下Eclipse及Hadoop插件安装配置
11、【MR开发】常用API、官方examples包、WordCount改造
12、【MR开发】以WordCount为例剖析Map-Reduce全过程
13、【MR开发】实战，地区每日PV计算
14、【MR开发】实战，地区每日UV计算（去重模式、多Job依赖）
15、【MR开发】一个MR含多个依赖Job的开发实现
16、Hadoop坏Block处理
17、Hadoop存储均衡和单节点多磁盘间存储均衡
18、Hive产生背景和架构原理
19、Hive服务添加和元数据管理
20、Hive托管表、外部表、分区表、存储结构
21、Hive ql语法详解一
22、Hive ql语法详解二，Cli、字段类型、overwrite
23、Hive企业代码案例分享和hive -e工具封装一
24、hive -e工具封装二
25、Hive UDF开发和使用案例
26、Hive Jdbc方式开发及利弊
27、Hadoop平台数据处理流程一览及Sqoop抽取mysql数据到HDFS
28、Sqoop export和--options-file 方式
29、【综合项目】需求分析
30、【综合项目】数据日志文件加载程序开发
31、【综合项目】完善需求一
32、【综合项目】流量需求二复杂开发

HADOOP实战

标签：vmware   外部   单节点   插件   文件加载   字段   eclipse   常用   搭建   

原文地址：https://www.cnblogs.com/RogerLu/p/9612498.html