分布式框架：
Zookeeper与paxos算法一、zookeeper是什么官方说辞：Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象，我们...
分类：
其他好文 时间：
2014-05-26 16:37:39
阅读次数：
300
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为meta....
分类：
其他好文 时间：
2014-05-23 05:54:55
阅读次数：
1771
CSS(Cluster synchronizationservice)
这个服务通过管理集群中的节点成员身份完成整个集群的配置工作，每当有新的节点加入到集群，或者有节点离开时，CSS服务负责通知集群的所有节点变更集群配置信息。如果某个节点上的整个进程失败，就会重启这个节点，这个进程是以root身份运行。
CRS（clusterready service）
这个组件负责集群的高可用性。被CRS管理的对象叫做集群资源。这些资源包括数据库、实例、监听、VIP地址以及应用程序进程。缺省情况下CRS管理着...
分类：
Web程序 时间：
2014-05-23 01:55:04
阅读次数：
514
# 消息传输- notify- metaQ## Notify核心机制- 集群化 -
发送方是一个集群 - 处理方也是一个集群 - 发送方和处理方没有对应关系，不需要知道消息的先后顺序—-顺序不care场景，_需要应用程序做到幂等_-
保证消息不丢 - mysql双写 - 确保都城功才成功 - 交易日...
分类：
其他好文 时间：
2014-05-22 02:27:41
阅读次数：
218
此架构由8台PC 、2台防火墙、2台24口三层交换机组成，注意点：1）Load
Balance：Haprxoy+keepalived
实现高可用。2）web：Nginx+php-fpm3）DB：mysql5主从+Mongodb副本+Memcached4）IMG：Varnish+Nginx+NFS网卡...
分类：
其他好文 时间：
2014-05-21 22:50:12
阅读次数：
305
1. Application Master 无法访问
点击application mater 链接，出现 http 500 错误，java.lang.Connect.exception：
问题是由于设定web ui时，50030 端口对应的ip地址为0.0.0.0，导致application master 链接无法定位。
解决办法:...
分类：
其他好文 时间：
2014-05-21 13:58:49
阅读次数：
323
前沿：在一些个特定环境下，用ansible做集群管理还是很棒的，这两天看了他的模块，官方提供了很多，就算不够，你也可以自定义定制。话说我挺喜欢他的modules模块的，够直接！！！我这里就说些常见的ansible的modules吧。下面的ansibleservice一看大家就懂了，就是服务状态的管..
分类：
其他好文 时间：
2014-05-21 13:07:44
阅读次数：
837
1 LVS简介
Linux VirtualServer是一个高扩展和高可用性服务器，在一个真正服务器的集群中构建而成，包含Linux操作系统中的负载均衡。 服务器的架构对于终端用户而言是完全透明的，在与用户交互过程中，用户感觉它好像是一台高性能的服务器。它的拓扑机构如下所示。
真正的服务器和负载均衡可能是通过要么高速LAN网或者通过分散的WAN网进行...
分类：
系统相关 时间：
2014-05-21 09:52:44
阅读次数：
394
目的
此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。
预备条件
确保已经安装Hadoop,配置和设置都正确了。更多细节，请看：* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。
概览
Service Level Authorization 是一个必要的初始认证机制，其确保客户端连接到一个有必要的、预配置的、权...
分类：
其他好文 时间：
2014-05-21 08:13:32
阅读次数：
227
