上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式,本篇blog我们将详细介绍如何搭建hbase完全分布式环境,搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop完全分布式环境请参考:【Hadoop基础教程】4、Hadoop之完全分布式环境搭建...
分类:
其他好文 时间:
2015-03-05 19:27:52
阅读次数:
144
各位真的不好意思。上次的博文有误。上次的应该是HBase的伪分布式安装。这次本人保证是完全分布式安装。 首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1,故也就省去了覆盖jar包...
分类:
数据库 时间:
2015-03-05 14:17:32
阅读次数:
146
很早就听说hadoop,但项目中一直没怎么接触,今天终于下定决心,花了一天的时间,搭起了基本的开发环境,总结如下。
一.软件准备
jdk、hadoop软件包、eclipse软件包(linux版)
二.安装java
详见http://blog.csdn.net/tonytfjing/article/details/42167599
三.安装hadoop(单机伪分布式)
3...
分类:
其他好文 时间:
2015-03-04 22:49:30
阅读次数:
213
上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境,运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上,运行Da...
分类:
其他好文 时间:
2015-03-04 09:47:45
阅读次数:
142
搭建伪分布式是在一台机器上模拟分布式部署,方便学习和调试。
1.解压hadoop文件
下载好的hadoop ,我们可以通过使用WinSCP 把压缩包软件把它 从宿主机复制移动到linux 的/usr/local 目录下。
解压缩文件,并重命名为hadoop,方便使用。重命名后这时,hadoop 目录的完整路径是“/usr/local/hadoop”
设置...
分类:
其他好文 时间:
2015-03-02 19:09:59
阅读次数:
121
Zookeeper 初体验之——伪分布式安装简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务...
分类:
其他好文 时间:
2015-03-02 14:50:32
阅读次数:
101
软件:
hadoop1.1.2、pietty(在windows系统下登录到linux虚拟机的远程登录软件)、winscp(在本地与远程计算机间安全的复制文件)、jdk-6u24-linux-i586.bin、virtualbox上安装的centos
系统(安装过程这里不说了)
安装步骤:
注:避免安装过程出现文件操作权限导致的问题,以下操作在root用户下进行。
1.安装ssh...
分类:
其他好文 时间:
2015-03-01 15:46:13
阅读次数:
173
DataNode无法启动:问题原因:执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么...
分类:
其他好文 时间:
2015-02-28 22:51:43
阅读次数:
151
1:配置静态IP地址重启网卡命令:service network restart验证:ifconfig2:修改主机名称 2.1、修改当前会话中的主机名命令:hostname hadoop 2.2、修改配置文件中的主机名:vi /etc/sysconfig/network验证:重启机器后查看主机名.....
分类:
其他好文 时间:
2015-02-28 16:18:59
阅读次数:
153
Hadoop 伪分布式环境时运行wordcount程序,之前已经运行过一次,再次将input文件夹中的内容上传至HDFS时会出现重复,但是还是可以上传成功。但是当再次运行wordcount程序时就会报错:可以看到导致错误的原因时HDFS中的output文件夹已经存在了,所以必须要删除。(因为outo...
分类:
其他好文 时间:
2015-02-28 16:18:42
阅读次数:
482