前言在很多时候,我们会碰到数据融合的需求,比如说原先有A集群,B集群,后来管理员认为有2套集群,数据访问不方便,于是设法将A,B集群融合为一个更大的集群,将他们的数据都放在同一套集群上.一种办法就是用Hadoop自带的DistCp工具,将数据进行跨集群的拷贝.当然这会带来很多的问题,如果数据量非常庞大的话.本文给大家介绍另外一种解决方案,ViewFileSystem,姑且可以叫做视图文件系统.大意就...
分类：
其他好文 时间：
2016-05-10 07:19:04
阅读次数：
285
MessageQueue是分布式的系统里经常要用到的组件，一般来说，当需要把消息跨网段、跨集群的分发出去，就可以用这个。一些典型的示例就是： 1、集群A中的消息需要发送给多个机器共享； 2、集群A中消息需要主动推送，但彼此的网络不是互通的（如集群A只有过HA才能被外界访问）； ...
分类：
编程语言 时间：
2015-11-05 23:57:29
阅读次数：
646
1、mongodb是一款强大、灵活、且易于扩展的通用性数据库。它的设计采用的是横向扩展。面向文档的数据模型使它能很容易的在多台服务器之间进行数据分割。能自动处理跨集群的数据和负载，自动重新分配文档，以及将用户请求路由到正确的机器上。这样，开发者能够集中精力编写应用..
分类：
数据库 时间：
2015-08-04 23:12:57
阅读次数：
260
最近为客户部署了一个测试Hyper-V集群，其希望从原来的Hyper-V集群中将某些测试的虚拟机迁移到新部署的测试集群中，两个集群采用的Hyper-V版本均为WindowsServer2012.两个集群采用同一个SCVMM进行管理。问题现象在迁移某些虚拟机的时候，SCVMM提示了ID为2904的错误。错误详细信..
分类：
其他好文 时间：
2015-06-23 13:45:52
阅读次数：
192
1.Hadoop YARN产生背景 源于MapReduce1.0 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本，而共享模式通常需要少数管理员即可完成多个框架的统一管理。 数据共享 随着数据量的暴增，跨集群间的数据移动不仅需花费更长的时间，且硬...
分类：
其他好文 时间：
2015-04-15 11:08:38
阅读次数：
308
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
AA网络和image可以跨集群共享，仅从这点理解，应该不会影响集群内的调度吧？2014/9/24 13:56:52BB2014/9/24 13:56:52是的BB2014/9/24 13:57:03和调度相关的是主机和system的datastoreAA2014/9/24 13:57:21我只是猜测...
分类：
其他好文 时间：
2014-09-26 18:34:28
阅读次数：
230
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类：
其他好文 时间：
2014-08-14 20:00:59
阅读次数：
283
