Apache Samza is a distributed stream processing framework. It uses Apache
Kafka for messaging, and Apache
Hadoop YARN to provide fault tolerance, processor isolation, security, and resource manage...
分类：
其他好文 时间：
2014-11-02 16:36:31
阅读次数：
255
目的： 使用命令行接口运行Mini集群，用户可以使用一个简单的命令启动或者停止一个单节点的Hadoop集群，不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。 这个案例适合想要...
分类：
其他好文 时间：
2014-10-31 13:58:20
阅读次数：
257
1. 安装环境介绍如下：
系统：Ubuntu14.04
Hadoop版本：hadoop-2.5.0（点击下载）
Java版本：openjdk-1.7.0_55
Eclipse版本：Release 4.4.0 (点击下载)...
分类：
系统相关 时间：
2014-10-30 21:00:26
阅读次数：
782
本文是根据Hadoop官网安装教程写的Hadoop YARN在单机伪分布式环境下的安装报告，仅供参考。
1. 安装环境如下：
操作系统：Ubuntu14.04
Hadoop版本：hadoop-2.5.0
Java版本：openjdk-1.7.0_55...
分类：
其他好文 时间：
2014-10-29 19:20:57
阅读次数：
286
本篇紧接着概念篇，从宏观角度上看一下Samza实时计算服务的架构是什么样的？
Samza是由以下三层构成：
1. 数据流层（A streaming layer）
2. 执行层（An execution layer）
3. 处理层（A progressing layer）
那Samza是依靠哪些技术完成以上三层的组合呢...
分类：
其他好文 时间：
2014-10-29 17:11:57
阅读次数：
261
发现每次reduce阶段跑到98%，相关的container被杀，报出的log大概...
分类：
其他好文 时间：
2014-10-25 18:49:24
阅读次数：
130
1、NodeManager概述
NodeManager（NM）是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用（内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务。
2、NodeManager分析
2.1、代码分析
接下来将...
分类：
其他好文 时间：
2014-10-23 00:01:39
阅读次数：
291
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息： 从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！ 第三步：启动yarn集群 使用jps命令...
分类：
其他好文 时间：
2014-10-21 10:32:36
阅读次数：
169
从控制台我们可以看见有两个DataNode，此时我们点击“LiveNodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWo..
分类：
其他好文 时间：
2014-10-21 10:27:47
阅读次数：
163
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa...
分类：
其他好文 时间：
2014-10-21 10:24:25
阅读次数：
230
