Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2016-11-11 07:53:24
阅读次数：
170
http://bbs.csdn.net/topics/390891983 yarn-site.xml <property> <name>yarn.resourcemanager.address</name> <value>192.168.X.X:8032</value> </property> <p ...
分类：
其他好文 时间：
2016-11-10 19:11:08
阅读次数：
359
一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop1.x和0.21.X，0.22.x。1、MapReduce角色分配 Client：作..
分类：
其他好文 时间：
2016-11-07 20:19:08
阅读次数：
230
核心内容:
1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件
2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件
3、Hadoop2.4.1 + HA 集群搭建核心配置文...
分类：
其他好文 时间：
2016-10-31 16:42:19
阅读次数：
228
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷..
分类：
其他好文 时间：
2016-10-29 16:45:23
阅读次数：
251
原 Hadoop MapReduce 框架的问题 原hadoop的MapReduce框架图 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路： 可以看得出原来的 map-reduce 架构是简单明了的，在最初推出的几年，也得到了众多的成功案例，获得业界广泛的支持和肯定，但随着分布式 ...
分类：
其他好文 时间：
2016-10-29 11:44:28
阅读次数：
236
FAST, RELIABLE, AND SECURE DEPENDENCY MANAGEMENT. 就在昨天， Facebook 发布了新的 node.js 包管理器 Yarn 用以替代 npm 。咱虽然是个半桶水的咸鱼前端，不过也得跟上 Javascript 这股潮 (hong) 流 (huang ...
分类：
Web程序 时间：
2016-10-28 03:30:18
阅读次数：
403
Zeppelin默认自带本地spark，可以不依赖任何集群，下载bin包，解压安装就可以使用。 使用其他的spark集群在yarn模式下。 配置： 添加： Zeppelin Interpreter配置 注意：设置完重启解释器。 新建Notebook Tips：几个月前zeppelin还是0.5.6， ...
分类：
其他好文 时间：
2016-10-27 13:22:59
阅读次数：
737
TheResourceManager(RM)isresponsiblefortrackingtheresourcesinacluster,andschedulingapplications(e.g.,MapReducejobs).PriortoHadoop2.4,theResourceManageristhesinglepointoffailureinaYARNcluster.TheHighAvailabilityfeatureaddsredundancyintheformofanActive/Standby..
分类：
其他好文 时间：
2016-10-23 21:20:55
阅读次数：
269
一、部分概念 二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台1节点运行一个Hadoop系统) 1. 做好规划: 1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置 比如:我将要运行的服务有hdfs,yarn,mapreduce,secondary ...
分类：
其他好文 时间：
2016-10-21 19:08:38
阅读次数：
258
