来源：holynull， blog.leanote.com/post/holynull/Zookeeper 如有好文章投稿，请点击 → 这里了解详情 Zookeeper是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式 ...
分类：
其他好文 时间：
2017-11-07 11:19:37
阅读次数：
263
开篇：在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。 一、实验环境结构 本次试验，我们构建的集群是一个主节点，三个从节点的结构 ...
分类：
其他好文 时间：
2017-11-03 13:07:50
阅读次数：
224
前言 本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群），并通过Hadoop分布式计算的一个示例测试集群的正确性。 本文集群三个节点基于三台虚拟机进行搭建，节点安装的操作系统为Centos7（yum源），Hadoop版本选取为 ...
分类：
其他好文 时间：
2017-10-28 20:32:29
阅读次数：
262
1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 Hadoop 中的分布式文件系统 HDF ...
分类：
其他好文 时间：
2017-10-09 19:42:54
阅读次数：
154
YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。 YARN架构图，来源于官网:http:// ...
分类：
其他好文 时间：
2017-10-09 09:48:15
阅读次数：
144
Hadoop的搭建过程全纪录 1、 虚拟机的安装 这里采用vm虚拟机，安装过程网上有很多，可以自行查看 2、 安装linux系统 采用Centos 7作为linux系统，注意选择语言和时间 建立root用户，密码设置为root 3、 JDK的安装 下载好jdk 解压 tar -zxvf jdk-7u ...
分类：
其他好文 时间：
2017-10-06 22:31:05
阅读次数：
214
02_note_分布式文件系统HDFS原理与操作，HDFS API编程；2.x下HDFS新特性，高可用，联邦，快照 HDFS基本特性 /home/henry/app/hadoop-2.8.1/tmp/dfs/name/current - on namenode cat ./VERSION names ...
分类：
编程语言 时间：
2017-09-29 17:51:41
阅读次数：
284
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和 ...
分类：
其他好文 时间：
2017-09-26 13:36:56
阅读次数：
182
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访 ...
分类：
其他好文 时间：
2017-09-12 16:11:05
阅读次数：
173
1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google ...
分类：
其他好文 时间：
2017-09-06 18:25:14
阅读次数：
144
