一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS2.01、解决HDFS1.0中单点故障和内存受限问题。2、解决单点故障HDFSHA通过主备NameNode解决如果主NameNode发生故..
分类：
其他好文 时间：
2015-03-21 21:29:17
阅读次数：
356
我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html为了方面配置，...
分类：
系统相关 时间：
2015-03-14 12:18:41
阅读次数：
219
在这篇blog中，我们将介绍Hbase的单机模式安装与伪分布式的安装方式，以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境，搭建hadoop环境请参考：【Hadoop基础教程】4、Hadoop之完全分布式环境搭建
开发环境
硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点）...
分类：
其他好文 时间：
2015-03-05 19:28:56
阅读次数：
213
上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式，本篇blog我们将详细介绍如何搭建hbase完全分布式环境，搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分布式环境，搭建hadoop完全分布式环境请参考：【Hadoop基础教程】4、Hadoop之完全分布式环境搭建...
分类：
其他好文 时间：
2015-03-05 19:27:52
阅读次数：
144
各位真的不好意思。上次的博文有误。上次的应该是HBase的伪分布式安装。这次本人保证是完全分布式安装。 首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就省去了覆盖jar包...
分类：
数据库 时间：
2015-03-05 14:17:32
阅读次数：
146
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da...
分类：
其他好文 时间：
2015-03-04 09:47:45
阅读次数：
142
1、安装环境是vmware workstation10.0模拟出三个虚拟节点，每一个节点安装Ubuntu12.04 LTS操作系统，主机名分别是hadoop1、hadoop2以及hadoop3.同时在每一个节点安装好java。安装方法同之前介绍的伪分布式安装方法一样。2、接着是对三个节点的hosts...
分类：
其他好文 时间：
2015-02-04 23:22:19
阅读次数：
277
在经过几天的环境搭建，终于搭建成功，其中对于hadoop的具体设置倒是没有碰到很多问题，反而在hadoop各节点之间的通信遇到了问题，而且还反复了很多遍，光虚拟机就重新安装了4、5次，但是当明白了问题之后才发现这都是无用功，有了问题应该找具体的解决方案，并不是完全的重装，这样不会明白问题是怎么解决的...
分类：
其他好文 时间：
2015-01-28 21:09:42
阅读次数：
277
1.1准备环境
1.1所需软件包
a、CentOS-6.5-i386-LiveDVD.iso 32位centos系统
b、jdk-7u71-linux-i586.rpm 32位jdk-Linux rpm文件
c、hadoop-2.2.0.tar.gz hadoop安装包
d、zookeeper-3.4.6.tar.gz zookeeper安装包
1.2运行环境
a、VMware9...
分类：
其他好文 时间：
2015-01-27 13:30:47
阅读次数：
219
