大数据学习之路

标签：style   http   io   ar   color   os   使用   sp   for   

http://www.chinahadoop.cn/page/developer

什么是大数据开发师？

围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。

Follow the developer path:

1、《hadoop大数据平台基础》

• 学习编写生产环境所需的mapreduce程序
• 掌握真实数据分析所需的高级API

第1周 Hadoop生态系统概述以及版本演化
概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。

第2周 HDFS 2.0 原理、特性与基本架构
介绍HDFS 2.0原理与架构，并与HDFS 1.0进行对比。介绍HDFS 2.0新特性，包括快照、缓存、异构存储架构等

第3周 YARN应用场景、基本架构与资源调度
介绍YARN是什么、基本原理与架构，并剖析其调度策略。

第4周 MapReduce 2.0基本原理与架构
介绍计算框架MapReduce基本原理与架构

第5周 MapReduce 2.0编程实践（涉及多语言编程）
手把手介绍如何用java、C++、php等语言编写MapReduce程序

第6周 HBase应用场景、原理与基本架构
介绍HBase应用场景、原理和架构

第7周 HBase编程实践（涉及多语言编程）
手把手介绍如何用Java、C++、Python等语言编写HBase客户端程序。

第8周 HBase案例分析
介绍几个HBase典型应用案例，包括互联网应用案例和银行应用案例。

第9周 Zookeeper部署及典型应用
介绍Zookeeper是什么，在hadoop生态系统中的地位

第10周 Hadoop数据入库系统Flume与Sqoop
介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘

第11周 数据分析系统Hive与Pig应用与比较
介绍如何使用hive和pig分析hadoop中的海量数据

第12周 数据挖掘工具包Mahout
介绍如何使用mahout提供的数据挖掘和机器学习算法进行海量数据挖掘

第13周 工作流引擎Oozie与Azkaban应用
介绍如何使用Oozie和azkaban对MapReduce作业、Pig/hive作业等进行统一管理和调度

第14周 两个综合案例：日志分析系统与机器学习平台
介绍两个典型的互联网应用案例，进一步深入领悟hadoop生态系统中各个系统的应用场景和解决实际问题的方式。

2、《大数据前置课程系列--scala》

• 学习spark之必备，一种新型的oop的编程语言
• 掌握在面向对象的编程中使用函数式编程理念

第一周 Scala基础

• • • • • • • • • • 值与变量的声明
                  • 常用类型简介
                  • 函数与方法的定义与使用
                  • 条件表达式
                  • 循环及高级for循环使用
                  • lazy值
                  • 默认参数、带名参数及变长参数
                  • 异常处理
                  • 数组相关操作
                  • Map操作

第二周 Scala面向对象编程

• • • • • • • • • • 类定义
                  • 类的属性
                  • 主构造器
                  • 辅助构造器
                  • object对象
                  • apply方法
                  • 类的继承
                  • 方法重写与字段重写
                  • 抽象类
                  • trait
                  • 包的定义与使用
                  • 包对象定义与使用
                  • 文件访问

第三周 Scala函数式编程

• • • • • • • • • • 高阶函数的定义
                  • 值函数
                  • 匿名函数
                  • 闭包
                  • SAM与Curry
                  • 高阶函数示例
                  • 集合简介
                  • 序列
                  • 可变列表与不可变列表
                  • 集合操作
                  • case class
                  • 模式匹配

第四周 Scala高级编程

• • • • • • • • • 泛型类
                • 泛型函数
                • Lower bounds 与 Upper bounds
                • View bounds
                • Context bounds
                • 协变与逆变
                • 隐式转换
                • 隐式参数
                • 隐式类

3、《spark大数据平台基础》

• 学习基于内存的批式和流式数据分析方法
• 掌握优化应用程序，达到快速、易用的目的

第一周 Spark生态系统概述与编程模型

• • Spark生态系统概述
  • 回顾Hadoop MapReduce
  • Spark运行模式
  • RDD
  • Spark运行时模型简介
  • 缓存策略介绍
  • transformation
  • action
  • lineage
  • 容错处理
  • 宽依赖与窄依赖
  • 集群配置

第二周 深入Spark内核

• • Spark术语解释
  • 集群概览
  • 核心组件
  • 数据本地性
  • 常用RDD
  • 任务调度
  • DAGScheduler
  • TaskScheduler
  • Task细节
  • 广播变量
  • 累加器
  • 性能调优

第三周 Spark Streaming原理与实践

• • DStream
  • 数据源
  • 无状态transformation与有状态transformation
  • checkpoint
  • 容错
  • 性能优化

第四周 Shark原理与实践

• • 数据模型
  • 数据类型
  • Shark架构
  • Shark部署
  • 缓存(分区)表
  • SharkServer
  • Shark与Spark结合

第五周 Machine Learning on Spark

• • LinearRegression
  • K-Means
  • Collaborative Filtering

第六周 Spark多语言编程

• • Python简介
  • PySpark API
  • 使用Python编写Spark程序
  • Spark with Java

第七周 Spark SQL

• • 架构与实例
  • Parquet支持
  • DSL
  • SQL on RDD

第八周 图计算GraphX

• • 现存的图计算框架
  • Table Operators
  • Graph Operators
  • GraphX设计

第九周 Spark on Yarn

• • Spark on Yarn原理
  • Spark on Yarn实践

第十周 JobServer

• • 整体架构
  • API介绍
  • 配置与部署

4、《Hadoop进阶》

• 深入学习mapreduce及其作业调试、优化方法
• 深度掌握hdfs及系统级的运维、性能优化方法

第一部分. MapReduce

Mapreduce工作流程及基本架构回顾

运维相关

• • 参数调优
  • benchmark
  • reuse jvm
  • 错误感知及speculative执行
  • task日志分析
  • 可容忍错误百分比设置及跳过坏记录
  • 选择fairescheduler等其他调度器优化性能

开发相关

• • 数据类型选择
  • 实现自定义writable数据类型、自定义key
  • 一个mapper中输出不同类型value
  • InputFormat/OutputFormat，原理及定制
  • Mapper/Reducer/Combiner，Combiner的使用及其对mapreduce框架优化的作用
  • Partitioner定制
  • 排序策略GroupingComparator/SortComparator
  • 任务调度原理及修改方法（案例，map/reduce共享slot，按标识精准map/reduce调度）
  • Streaming
  • DistributedCache
  • mapreduce任务间依赖
  • counter
  • JobChild参数设置
  • 性能优化

第二部分. hdfs

HDFS API

fuse（C API）

压缩

HDFS benchmark

Datanode添加及删除

多盘支持，磁盘错误感知

hdfs raid

HDFS block size设置相关问题

文件备份数设置

HDFS中合并文件

第三部分. Hadoop工具

dfsadmin/mradmin/balancer/distcp/fsck/fs/job

监控及报警

hadoop配置管理

第四部分. Hadoop调试

Log

本地模式调试map/reduce任务

远程调试

第五部分. 问题分析

Java GC介绍及java进程常用的分析工具jstat、jhat、jmap

top/iostat/netstat/lsof等

Jstack/kill -3

Strace

nload/tcpdump

第六部分.分析示例

MapReduce简单分析

用MapReduce实现Group-by

用MapReduce实现倒排索引

MapReduce实现直方图

MapReduce实现Join

5、《Hbase进阶》

• 学习针对海量数据集设计合理的Schema
• 掌握Hbase性能优化方法和使用场景

6、《SQL on hadoop》

• 学习Hive SQL解析与性能优化，Impala任务生成等
• 掌握使用SQL on hadoop构建数据开放平台

7、《Hadoop/Spark企业应用实战》

• 学习生产系统中应用Hadoop、Spark的使用方法
• 掌握与现有企业BI平台整合的解决方案

大数据学习之路

标签：style   http   io   ar   color   os   使用   sp   for   

原文地址：http://www.cnblogs.com/hanying/p/4162891.html