使用Docker一段时间之后，准备在公司内部使用Docker +
Hadoop(HDFS)组件内部一个私有云，统一管理公司和产品/项目组内部的代码、文档。我选择先从文档管理开始，在底层架子搭建好之后，需要给内部人员提供一个好的“门面”，在没有这个门面之前，我们大量使用SSH+Command方式操作，...
分类：
其他好文 时间：
2014-05-24 03:44:10
阅读次数：
1071
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
前言1.
创建表：（由master完成）首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址client和master通信，然后有master来创建表（包括表的列簇，是否cache，设置存储的最大版本数，是否压缩...
分类：
编程语言 时间：
2014-05-19 14:23:43
阅读次数：
392
zookeeper，一个很灵活的分布式架构，其中包含一个watch机制，检测节点值的变化，然而watch机制有些需要注意的地方：watch事件延迟。...
分类：
其他好文 时间：
2014-05-18 18:23:41
阅读次数：
321
前面介绍过hadoop的简单安装和FA安装，在这里将介绍几种hadoop2中HA（高可用性）安装，HA技术使hadoop不再存在单点namenode的故障。先来第一种：nfs+zookeeperHadoop
版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配...
分类：
其他好文 时间：
2014-05-17 03:07:21
阅读次数：
388
前面介绍过使用NFS+zookeeper来解决namenode单点失败问题，因为NFS可能也会存在单点问题，所以hadoop提供了一种叫做JournalNode技术，这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术：JournalNode+
zookeeperHadoop 版本...
分类：
其他好文 时间：
2014-05-17 00:29:07
阅读次数：
331
1：原理图 A：NN1、NN2（或者更多个NN节点）只有一个是Active状态，通过自带ZKFailoverController组件（zookeeper客户端）和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B：Active NN 的EditLog 写入共享的JournalNode集群中，Standby NN通过JournalNode集群获取Editlog，并在本地运行来保持...
分类：
其他好文 时间：
2014-05-15 14:46:42
阅读次数：
414
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
环境说明
1、硬件说明
使用三台PC机，角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
分类：
其他好文 时间：
2014-05-13 05:44:31
阅读次数：
345
学习大数据的处理，有必要读一下有关大数据的书籍。这里，我列举了几本书，仅供参考。
1 ZooKeeper: Distributed Process Coordination
这本书针对的是初级或者高级的开发，面向Zookeeper编程的工程师们。如果你的工程中（如HBase）涉及到Zookeeper的应用，有必要了解一下Zookeeper的管理知识和一些基本解...
分类：
其他好文 时间：
2014-05-12 22:46:32
阅读次数：
662
