摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
resourcemanager：管理集群上面的资源 cpu和内存NodeManager:上面跑程序 applicationMaster 多个在NodeManager上面Mapreduce上面的程序叫MRAppMaster在NodeMnager上面Mapreduce 上运行MapTask或Reduce...
分类：
其他好文 时间：
2015-07-30 23:05:39
阅读次数：
130
准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh】下载稳定版2.2.0修改etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml启动验证文件c...
分类：
其他好文 时间：
2015-07-30 23:04:00
阅读次数：
138
概述上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，如何配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。Service Monitor和Host Monitor角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应...
分类：
其他好文 时间：
2015-07-30 16:39:19
阅读次数：
124
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s...
分类：
其他好文 时间：
2015-07-22 18:26:37
阅读次数：
117
这个问题的原因有几个：1、客户端安装的机器一般是虚拟机，虚拟机的名称可能是随便搞的，然而，yarn-client模式提交任务，是默认把本机当成driver的。所以导致其他的机器无法通过host的name直接访问这台机器。报错就是Failed to connect to driver at x.x.x...
分类：
其他好文 时间：
2015-07-22 18:20:15
阅读次数：
554
在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等...
分类：
其他好文 时间：
2015-07-22 18:05:01
阅读次数：
1700
Author： kwu --- 查看yarn当前运行任务列表，可使用如下命令查看：...
分类：
其他好文 时间：
2015-07-22 10:41:40
阅读次数：
2737
1.概述 之前在《Hadoop2源码分析－RPC探索实战》一文当中介绍了Hadoop的RPC机制，今天给大家分享关于YARN的RPC的机制。下面是今天的分享目录：YARN的RPC介绍YARN的RPC示例截图预览 下面开始今天的内容分享。2.YARN的RPC介绍 我们知道在Hadoop的RPC当...
分类：
其他好文 时间：
2015-07-21 16:56:49
阅读次数：
159
Mahout推荐算法API详解Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oo...
分类：
编程语言 时间：
2015-07-20 19:20:32
阅读次数：
168
