rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。 下面我们来概要分析一下Hadoop2的rpc。 Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。 客户端采用传 ...
分类：
其他好文 时间：
2016-09-28 22:27:04
阅读次数：
211
1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers 1/1 local-dirs are bad: /v ...
分类：
系统相关 时间：
2016-09-28 19:40:29
阅读次数：
834
cloudera分为两个部分：CDH和CM。CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的comp ...
分类：
其他好文 时间：
2016-09-28 02:07:39
阅读次数：
408
1.1 YARN基本架构 YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统... ...
分类：
其他好文 时间：
2016-09-27 18:01:07
阅读次数：
118
weekend01、02、03、04、05、06、07的分布式集群的HA测试 1） weekend01、02的hdfs的HA测试 2） weekend03、04的yarn的HA测试 1） weekend01、02的hdfs的HA测试 首先，分布式集群都是正常的，且工作的 然后呢， 以上是，weeke ...
分类：
编程语言 时间：
2016-09-24 11:54:13
阅读次数：
490
Spark on YARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoop HDFS并且运行在yarn上，然后就可以开始部署spark on yarn了，假设现在准备环境已经部署完毕，这里是在CDH 环境下部署Spark 除了上面的环境准备 ...
分类：
其他好文 时间：
2016-09-23 11:08:49
阅读次数：
164
途径1: 途径2： 途径3： 成功! 由此，可以好好比较下，途径1和途径2 和途径3 的区别。 现在，来玩玩weekend110的joba提交的逻辑之源码跟踪 原来如此，weekend110的job提交的逻辑源码，停在这了 hello world hello tom helllo jim jim i ...
分类：
其他好文 时间：
2016-09-22 13:10:12
阅读次数：
199
（2015年1月17日） 课程目录 01-hdfs源码跟踪之打开输入流 02-hdfs源码跟踪之打开输入流总结 03-mapreduce介绍及wordcount 04-wordcount的编写和提交集群运行 05-mr程序的本地运行模式 06-job提交的逻辑及YARN框架的技术机制 07-MR程序 ...
分类：
其他好文 时间：
2016-09-22 09:52:27
阅读次数：
109
基于Zookeeper的分步式队列系统集成案例 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hca ...
分类：
其他好文 时间：
2016-09-21 10:13:51
阅读次数：
253
今天运行spark on yarn 一直出现 不知道是 什么问题，on yarn 上也没有日志提示。 ...
分类：
其他好文 时间：
2016-09-20 19:49:31
阅读次数：
380
