由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
随着处理器提升速度下降和数据量的不断增长，很多公司和组织（既有互联网公司也有传统的企业还有一些研究机构）都要求他们的应用能够Scale out到更大的分布式系统上（比如整个数据中心）。这些应用又分为以下几种类型：...
分类：
其他好文 时间：
2014-08-05 19:28:10
阅读次数：
245
OpenstackNova二次开发之Nova-extendservice扩展主要是讲如何启动openstacknova-extendservices，该服务用于Openstack二次扩展及部分需求开发，例如，节点巡检，动态迁移（基于FUSE文件系统实现，分布式系统，如MooseFS),文件注入，Nova服务的自身修复，instancesIO控制，insta..
分类：
其他好文 时间：
2014-08-05 03:08:09
阅读次数：
321
一、Zabbix基本介绍： zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。它能监视各种网络参数，保证服务器系统的安全运营；并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zab...
分类：
其他好文 时间：
2014-08-04 10:43:27
阅读次数：
353
Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类：
其他好文 时间：
2014-08-02 07:45:03
阅读次数：
366
RPC的全称为远程过程调用。由于Hadoop是一个分布式系统，因此底层的通信库也就必须实现RPC的基础功能。Hadoop RPC 在整个hadoop中扮演着底层通信模块的角色，举例而言NN和DN、AM和RM之间的通信和协调都是Hadoop RPC来完成的。熟悉使用Hadoop RPC可以加深我们对H...
分类：
其他好文 时间：
2014-08-01 18:33:52
阅读次数：
254
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么，为什么要学习Hadoop?Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hado...
分类：
其他好文 时间：
2014-07-31 16:35:06
阅读次数：
177
2012年1月18日，Amazon发布了AmazonDynamoDB，一个完全托管的，高性能，高可靠，经济高效的NoSQL数据库。DynamoDB非常适合互联网规模的应用。
DynamoDB数据库融入了亚马逊在大规模非关系型数据库和云计算领域积累的多年丰富经验。早在2007年，亚马逊就曾经发布了一篇论文，深入讨论了Amazon Dynamo使用的设计理念和实现技术，以及如何解决大规模扩展和同时提供高可靠保护的问题。最初的Dynamo设计基于一系列在分布式系统中搭建高可靠、高扩展系统的核心的原则。现在的Ama...
分类：
数据库 时间：
2014-07-29 17:45:22
阅读次数：
304
再分布式系统中，ACL(Access Control)十分重要；Zookeeper也提供了十分好用的ACL接口，下面我记录一下在nodejs下如何实现zookeeper的访问控制。
Zookeeper的ACL通常表示为：Scheme:Id:Permission，即Scheme,Id,Permission三个部分。其中，Scheme表示使用何种方式来进行访问控制，Id代表用户，Perm...
分类：
其他好文 时间：
2014-07-29 12:57:37
阅读次数：
266
包工头模式包工头–工人模式：包工头工人模式我是从一本书上看到的《大规模分布式系统架构与设计实战》。“包工头-工人”模式会使用到Anycmd的User模块中去。AC是一个隐式的项目。一个项目只有一个包工头，一个包工头可以雇佣很多工人，一个工人在一个项目下只受雇于一个包工头。每一个工人都是自己的包工头。...
分类：
其他好文 时间：
2014-07-29 12:32:16
阅读次数：
261
