从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
分类：
其他好文 时间：
2018-07-31 17:27:47
阅读次数：
176
fulldecommisson的操作集中在三个平台，1backupserver2VMAXGUI3FCswitch先说一下总体的思路：1）首先需要在bankupserver上中止std与bcv的clone关系；2）在vmxGUI上删除maskingview;3)在vmxGUI上删除MV下的IG,PG;4）在vmxGUI上删除fastpolicy,如果分配了；5）在vmxGUI上removeSG..
分类：
其他好文 时间：
2016-05-14 01:22:32
阅读次数：
199
前言在Hadoop集群中，按照集群规模来划分，规模可大可小，大的例如百度，据说有4000台规模大小的Hadoop集群，小的话，几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群，都免不了出现节点故障的情况，尤其是超大型的集群，节点故障几乎天天发生，因此如何做到正确，稳妥的故障情况处理，就显得很重要了，这里提供一个在Hadoop集群中可以想到的办法，就是Decommission...
分类：
其他好文 时间：
2015-08-20 09:12:18
阅读次数：
176
介绍之前我有篇博文是介绍如何用ansible的playbook来自动化HadoopDecommission的，本文介绍用shell脚本来实现。脚本都放在跳板机上，远端服务器调用本地脚本完成所有操作，不需要拷贝文件到远端服务器。正文主脚本：decom.sh#!/bin/bash
iplist=/home/hadoop/shell_scripts/ipl..
分类：
系统相关 时间：
2015-02-13 01:47:56
阅读次数：
266
介绍如何用ansible的playbook实现自动decommissionhadoop的node?正文对于如何部署安装ansible，请看http://haohaozhang.blog.51cto.com/9176600/1610499hadoop部署，请看http://haohaozhang.blog.51cto.com/9176600/1607089使用hadoop用户创建目录ansible_decom,里面的目录结构..
分类：
其他好文 时间：
2015-02-10 02:03:57
阅读次数：
480
Decommission Datanode就是把Datanode从HDFS集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？我认为理论上可行的，不过在实际的集群中，如果某份数据只有一份拷贝而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission Datanode以及可能会遇到的一些问题及其解决办法。...
分类：
其他好文 时间：
2014-10-15 00:13:09
阅读次数：
470
