zookeeper是一个分布式应用协调服务，主要用来解决分布式应用配置项的管理、同步服务、集群管理等，它由Java语言编写，但它支持Java和C两种编程语言接口； 环境部署 操作系统：centos 6.4 JDK版本：1.7.0_60 单机模式 1、安装包下载地址：http://www.apache...
分类：
其他好文 时间：
2015-02-15 19:20:25
阅读次数：
194
部分目录：
1，初始Hadoop
2，关于MapReduce
3，Hadoop分布式文件系统
HDFS 文件系统。
4，Hadoop I/O
5，MapReduce应用开发
6，MapReduce的工作机制
7，MapReduce的类型与格式
8，MapReduce 的特性
9，构建 Hadoop 集群
10，管理 Hadoop
11，Pig简介
Pig Latin 描述...
分类：
其他好文 时间：
2015-02-13 20:01:07
阅读次数：
183
前言“只要站在风口，猪也能飞起来”，这碗心灵鸡汤不知道激励了多少英雄豪杰踏上寻风口之路。而现如今，Docker这阵龙卷风呼啸来袭，更让众人生起迎风而上、直冲云霄的欲望。为了找到这风口，数据平台部开始全面拥抱Docker，基于多年的大数据集群管理经验，倾力打造DockerOnGaia云平台（简称Gaia云），并动员将数平自身的核心系统Lhotse、Hermes、Hive、TRE、TDBank等全面接入...
分类：
其他好文 时间：
2015-02-12 18:36:38
阅读次数：
296
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Zookeeper 采用paxos一致性算法保证了数据的一致性，Paxos算法是一种基于消息传递...
分类：
其他好文 时间：
2015-02-09 10:39:51
阅读次数：
201
1.本课程是怎么样的一门课程（全面介绍）该课程隶属***数据库板块-《oracle数据库精讲课程之rac管理》RealApplicationCluster简称RAC,是ORACLE公司推出的一款集群管理软件。本课程在Redhat环境下搭建RAC平台，通过前期的理论讲解，并不断实践操作，实现以下目标：安装RAC数据库..
分类：
数据库 时间：
2015-02-02 20:00:48
阅读次数：
167
从Storm看集群管理
简介
Storm是当前最流行的分布式实时计算平台，使用场景是根据Storm定义的接口规范编写一个实时处理流，然后提交到Storm平台处理，Storm平台解析该处理流，使其并行、分布式地在集群中运行，并附带相应的状态监控。本文主要描述Storm的集群管理这块的内容，处理流的相关接口逻辑规范不作涉及。
Storm集群监控管理的目标是管理和监控用户提交的...
分类：
其他好文 时间：
2015-01-31 18:02:37
阅读次数：
666
关于Cluster Manager和Deploy Mode的组合在SparkSubmit.scala的createLaunchEnv中有比较详细的逻辑。Cluster Manager基本上有Standalone，YARN和Mesos三种情况，说明Cluster Manager用来指明集群的资源管理器...
分类：
其他好文 时间：
2015-01-28 06:09:55
阅读次数：
1978
一、Redis Sentinel是redis自带的集群管理工具，主要功能有· 监控（Monitoring）：Redis Sentinel实时监控主服务器和从服务器运行状态。· 提醒（Notification）：当被监控的某个Redis服务器出现问题时，Redis Sentinel可以向系统管理员发送...
分类：
其他好文 时间：
2015-01-22 19:42:25
阅读次数：
159
Ambari能够搭建、管理Hadoop集群，这是一件很酷的事情，让集群管理变的easy，但是有可能也有自己的一些需求，如果我想基于Ambari做二次开发DIY，修改一下界面，增加一些功能，添加一个模块等等，这些都是没问题，首先Ambari是基于ASF协议，其次，开发也很方便，唯一不足的是官网基于此的开发文档不多。...
分类：
其他好文 时间：
2015-01-17 11:19:05
阅读次数：
193
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
