Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。 工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）...
分类：
移动开发 时间：
2014-09-13 17:10:15
阅读次数：
379
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、阿里淘宝...
分类：
移动开发 时间：
2014-09-13 17:03:45
阅读次数：
328
开发基于YARN的应用程序需要开发客户端程序和AppMaster程序：我们基于程序自带的例子来实现提交application 到YARN的ResourceManger。Distributed Shell application：Client 步骤：连接 ResourceManager；通过Appli...
分类：
其他好文 时间：
2014-09-12 20:31:24
阅读次数：
297
事件类型定义：package org.apache.hadoop.event;public enum JobEventType { JOB_KILL, JOB_INIT, JOB_START}package org.apache.hadoop.event;p...
分类：
其他好文 时间：
2014-09-12 19:07:43
阅读次数：
265
单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef
分类：
其他好文 时间：
2014-09-12 11:41:33
阅读次数：
156
Spark 0.6.0开始支持此功能准备：运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置：环境变量：SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量，可以省略。 例如：SPARK_YARN_USER_ENV="JAVA_H...
分类：
其他好文 时间：
2014-09-12 11:38:33
阅读次数：
222
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
AppMaster向RM请求资源MRAppMaster :serviceinit // service to allocate containers from RM (if non-uber) or to fake it (uber) containerAllocator = creat...
分类：
其他好文 时间：
2014-09-11 15:12:42
阅读次数：
867
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读...
分类：
其他好文 时间：
2014-09-10 22:35:31
阅读次数：
401
运行在YARN平台上面的RPC。当前存在非常多的开源RPC框架，比较著名的有Thrift、Protocol Buffers 和 AVRO。他们均有两部分构成：对象序列化和远程过程调用。重要类：YarnRPCHadoopYarnRPCRpcFactoryProvider。RpcClientFact.....
分类：
其他好文 时间：
2014-09-10 17:16:50
阅读次数：
217
