rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。 下面我们来概要分析一下Hadoop2的rpc。 Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。 客户端采用传 ...
分类：
其他好文 时间：
2016-09-28 22:27:04
阅读次数：
211
1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers 1/1 local-dirs are bad: /v ...
分类：
系统相关 时间：
2016-09-28 19:40:29
阅读次数：
834
HACluster基础及heartbeat实现HA配置环境node1：192.168.1.121 CentOS6.7node2：192.168.1.122 CentOS6.7node3：192.168.1.123 CentOS6.7vip192.168.1.88配置前准备#cat/etc/hosts 127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4 ::1localhostlo..
分类：
数据库 时间：
2016-09-28 16:53:22
阅读次数：
272
cloudera分为两个部分：CDH和CM。CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的comp ...
分类：
其他好文 时间：
2016-09-28 02:07:39
阅读次数：
408
1.1 YARN基本架构 YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统... ...
分类：
其他好文 时间：
2016-09-27 18:01:07
阅读次数：
118
配置环境node1：192.168.1.121 CentOS6.7node2：192.168.1.122 CentOS6.7node3：192.168.1.123 CentOS6.7vip192.168.1.80配置前准备#cat/etc/hosts 127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4 ::1localhostlocalhost.localdomainlocalhost6l..
分类：
其他好文 时间：
2016-09-24 22:09:50
阅读次数：
253
weekend01、02、03、04、05、06、07的分布式集群的HA测试 1） weekend01、02的hdfs的HA测试 2） weekend03、04的yarn的HA测试 1） weekend01、02的hdfs的HA测试 首先，分布式集群都是正常的，且工作的 然后呢， 以上是，weeke ...
分类：
编程语言 时间：
2016-09-24 11:54:13
阅读次数：
490
Spark on YARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoop HDFS并且运行在yarn上，然后就可以开始部署spark on yarn了，假设现在准备环境已经部署完毕，这里是在CDH 环境下部署Spark 除了上面的环境准备 ...
分类：
其他好文 时间：
2016-09-23 11:08:49
阅读次数：
164
途径1: 途径2： 途径3： 成功! 由此，可以好好比较下，途径1和途径2 和途径3 的区别。 现在，来玩玩weekend110的joba提交的逻辑之源码跟踪 原来如此，weekend110的job提交的逻辑源码，停在这了 hello world hello tom helllo jim jim i ...
分类：
其他好文 时间：
2016-09-22 13:10:12
阅读次数：
199
（2015年1月17日） 课程目录 01-hdfs源码跟踪之打开输入流 02-hdfs源码跟踪之打开输入流总结 03-mapreduce介绍及wordcount 04-wordcount的编写和提交集群运行 05-mr程序的本地运行模式 06-job提交的逻辑及YARN框架的技术机制 07-MR程序 ...
分类：
其他好文 时间：
2016-09-22 09:52:27
阅读次数：
109
