标签：
随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东
等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术
的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。
Hadoop入门薪资已经达到了 8K 以上，工作1年可达到 1.2W 以上，具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万 。
一般需要大数据处理的公司基本上都是大公司，所以学习hadoop技术也是进大公司的捷径！
中关村被称为中国硅谷，这里有着一群被外界称之为程序员的IT从业者。
但是一眼望去，大多数一线程序员的年龄均在20至30岁左右，40、50岁的人在这个行业内颇为罕见。
为什么在国内没有“老”程序员，而在国外五六十岁仍奋斗在一线岗位的程序员比比皆是？造成这种现象的原因是多方面的。
新 Hadoop Yarn 框架原理及运作机制
从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce 的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的修复，但是最近这些修复的成本越来越高，这表明对原框架做出改变的难度越来越大。
为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn，其架构图如下图所示：
成熟、通用让Hadoop深得大数据玩家喜爱，即使是在YARN出现之前，在流处理框架林立下，Hadoop仍然被众多机构广泛运用在离线处理之上。借鉴于Mesos，MapReduce获得新生，YARN提供了更加优秀的资源管理器，让Storm等流处理框架同样可以运行在Hadoop集群之上；但是别忘记，Hadoop有着远比Mesos成熟的社区。从兴起到唱衰再到兴起，这头搬运大数据的大象已更加成熟、稳重，同时我们也相信，在未来container等属性加入后，Hadoop生态系统必将发扬光大。
课程介绍
本课程详细讲解了Hadoop 2.0架构、部署以及YARN，并讲解了运行在YARN上主要的计算框架，包括Spark、Storm和Tez
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop大数据基础，学习过北风课程《Greenplum 分布式数据库开发入门到精通》、《全面深入Greenplum Hadoop大数据分析平台》为最佳
课程大纲
Hadoop 2.0（6课时）
?Hadoop 2.0产生背景
?Hadoop 2.0基本构成
?HDFS 2.0
?MapReduce 2.0
?Hadoop 2.0安装配置
?集群测试
YARN资源管理系统（4课时）
?YARN产生背景
?YARN基本设计思想
?YARN基本架构
?YARN工作流程
?YARN通信协议
?YARN容错
?YARN资源调度机制
YARN支持的计算框架（Storm，Tez，Spark）（11课时）
?以YARN为核心的生态系统
?Storm基本概念
?Storm流式计算框架
?基于YARN的Storm架构
?YARN-Storm部署
?Storm On YARN服务
?Apache Tez介绍
?Tez特点
?Tez数据处理引擎
?DAGAppMaster实现
?Tez优化机制
?Tez应用场景
?Tez部署
?什么是Spark
?Spark生态系统
?Spark的核心--RDD和Lineage
?RDD的存储、容错机制、内部设计及数据模型
?Spark调度框架
?Spark的分布式部署方式
?基于Mesos的Spark模式
?基于YARN的Spark模式
?Spark的独立模式部署
?Spark的YARN模式部署
Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)
标签：
原文地址：http://www.cnblogs.com/destim/p/5380564.html
