前面介绍过hadoop的简单安装和FA安装,在这里将介绍几种hadoop2中HA(高可用性)安装,HA技术使hadoop不再存在单点namenode的故障。先来第一种:nfs+zookeeperHadoop
版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配...
分类:
其他好文 时间:
2014-05-17 03:07:21
阅读次数:
388
前面介绍过使用NFS+zookeeper来解决namenode单点失败问题,因为NFS可能也会存在单点问题,所以hadoop提供了一种叫做JournalNode技术,这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术:JournalNode+
zookeeperHadoop 版本...
分类:
其他好文 时间:
2014-05-17 00:29:07
阅读次数:
331
hadoop dfsadmin -safemode leave
分类:
其他好文 时间:
2014-05-16 22:18:40
阅读次数:
325
第1章容器第1条:慎重选择容器类型。标准STL序列容器:vector、string、deque和list。标准STL关联容器:set、multiset、map和multimap。非标准序列容器slist和rope。slist是一个单向链表,rope本质上是一“重型”string。非标准的关联容器ha...
分类:
编程语言 时间:
2014-05-16 07:50:48
阅读次数:
390
HADOOP HA配置
hadoop2.x的ha配置,此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先,先配置core-site.xml配置文件:
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类:
其他好文 时间:
2014-05-15 23:40:10
阅读次数:
705
1:原理图 A:NN1、NN2(或者更多个NN节点)只有一个是Active状态,通过自带ZKFailoverController组件(zookeeper客户端)和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B:Active NN 的EditLog 写入共享的JournalNode集群中,Standby NN通过JournalNode集群获取Editlog,并在本地运行来保持...
分类:
其他好文 时间:
2014-05-15 14:46:42
阅读次数:
414
几个单词
Hierarchy
['ha??rɑ?k?]
n. 层级
思考:每个视图有一个父视图,有0个或者多个子视图
Manipulation
[m?,n?pj?'le??(?)n] n.
操纵;操作
Descendant
[d?'send(?)nt]
n. 后裔;子孙
UIWindow
Feature:
1、UIWindow set up...
分类:
其他好文 时间:
2014-05-15 12:13:20
阅读次数:
430
本篇的配置环境是基于HDFS HA系列实验之二:HA+JournalNode+zookeeper 上进行的。1:原理图 A:实验环境之组成DNS:productserverHA1(nameservices为cluster1):product201、product202HA2(nameservices为cluster2):product211、product212DN:product203、p...
分类:
其他好文 时间:
2014-05-15 05:59:29
阅读次数:
323
一、DRBD概述DRBD(DistributedReplicatedBlockDevice)是Linux平台上的分散式储存系统。由内核模组、用户空间工具组成,通常用于高可用性(highavailability,HA)集群。其实现方式是通过网络在服务器之间的对块设备(硬盘,分区,逻辑卷等)进行镜像。你可以把它看作是一种网络R..
分类:
其他好文 时间:
2014-05-13 13:02:59
阅读次数:
488