1VM下Ubuntu安装和配置1.1安装Ubuntu系统这个就不说了，不知道的可以去看看其他的博文。1.2集群配置搭建一个由3台机器组成的集群：IPuser/passwdhostnameroleSystem192.168.174.160hadoop/hadoopmasternn/snn/rmUbuntu-14.04-32bit192.168.174.161hadoop/hadoopslave1dn/nmUbun..
分类：
系统相关 时间：
2014-10-12 19:14:28
阅读次数：
581
ZooKeeper Getting Started Guide 翻译...
分类：
其他好文 时间：
2014-09-30 15:06:19
阅读次数：
198
一、什么是kafka?kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（11..
分类：
其他好文 时间：
2014-09-10 02:50:40
阅读次数：
342
一、环境3台虚拟机，系统为centos，zookeeper版本为3.4.3ip与hostname分别为192.168.41.100/master，192.168.41.101/slave1，192.168.41.102/slave2二、安装1、解压下载到的apache-storm-0.9.2-incubating.zip#tarzvxfapache-storm-0.9.2-incubating.tar.gz-C/home/hadoop/2、..
分类：
其他好文 时间：
2014-09-10 02:45:10
阅读次数：
266
阿里技术突破性创新 世界顶级大规模数据处理分析管理会议VLDB（VERY LARGE DATA BASE）于9月1日至5日在杭州举办，该会议也是也是大数据云计算领域的盛会，阿里巴巴两个团队在这个会议上分别发表论文。两篇论文分别描述了在超大规模分布式集群环境下如何保持性能稳定，以及构建大规模的数据.....
分类：
数据库 时间：
2014-09-06 17:16:53
阅读次数：
334
理解Linux内核是如何为进程分配进程号，以及在分布式集群中如何真确的区分唯一的进程号...
分类：
系统相关 时间：
2014-09-01 01:40:53
阅读次数：
326
前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务器才能完成的。在ZooKeeper之前，我们对于协作服务大都使用消息中间件，随...
分类：
其他好文 时间：
2014-08-25 17:23:04
阅读次数：
297
HBase分布式集群环境搭建成功后，连续4、5天实验客户端Map/Reduce程序开发，这方面的代码网上多得是，写个测试代码非常容易，可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境： 1，集群的环境配置请见这篇博文。 2，...
分类：
其他好文 时间：
2014-08-21 16:26:54
阅读次数：
366
环境搭建一.zookeeper参考：http://blog.chinaunix.net/uid-25135004-id-4214399.html现有4台机器 10.14.2.201 10.14.2.202 10.14.2.203 10.14.2.204安装zookeeper集群 在所有机器上进行1、...
分类：
其他好文 时间：
2014-08-18 20:22:42
阅读次数：
436
??本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。设计要点:性能提高性能的方法就是并行，讲一个任务分解成多个任务，同一时候运行。GFS中的思路是将文件分块,每一个块是一个chunk,每一个chunk单独保存，保存chu...
分类：
其他好文 时间：
2014-08-17 18:22:42
阅读次数：
293
