注意:此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的 可以参考: Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令:vi /etc/sysconfig/network 2.设置hosts中ip与主机名的绑定 执行命令 vi / ...
分类:
其他好文 时间:
2018-07-22 17:01:44
阅读次数:
218
软件版本 Hadoop版本号:hadoop-2.6.0-cdh5.7.0; VMWare版本号:VMware 9或10 Linux系统:CentOS 6.4-6.5 或Ubuntu版本号:ubuntu-14.04.1-desktop-i386 Jdk版本号:Jdk1.7.0._79 后三项对版本要求... ...
分类:
其他好文 时间:
2018-07-22 15:19:52
阅读次数:
233
上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境,运行 ...
分类:
其他好文 时间:
2018-07-07 13:50:03
阅读次数:
223
在这篇blog中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop环境请参考:【Hadoop基础教程】4、Hadoop之完全分布式环境搭建 开发环境 硬件环境 ...
分类:
其他好文 时间:
2018-07-07 13:39:34
阅读次数:
186
环境介绍 服务器软件版本 操作系统 CentOS 6.5 x86_64 Java 1.7.0_79 hadoop 2.6.1 hadoop各个节点集群架构 主机名 ip 角色 hadoop01 192.168.103.137 ResourceManager/NameNode/SecondaryNam ...
分类:
其他好文 时间:
2018-07-07 12:39:18
阅读次数:
191
Overview:过程有很多帖子都解释了如何搭建,本文主要列举需要做的事情,然后在文末提供一个非常详细的搭建教程,方便大家使用。 我这里是使用了3台服务器搭建分布式平台,每台机子都需要配置java的开发环境,hadoop的四个XML文件,host名称和profile配置文件,特别需要注意的是mast ...
分类:
其他好文 时间:
2018-07-04 19:33:50
阅读次数:
127
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) https://blog.csdn.net/pucao_cug/article/details/71698903 Centos7完全分布式搭建Hadoop2.7.3 https://www.cnblogs.com/ksWo ...
分类:
系统相关 时间:
2018-06-30 10:58:51
阅读次数:
186
Hadoop集群搭建(完全分布式) 这里设置了NameNode的地址,是在ruixuan.com这台主机上,设置hadoop的临时目录,自己指定。 replication的是副本数,意思是一个文件需要在HDFS分布式文件系统中保存几分,建议 DataNode的数量应大于等于replication。 ...
分类:
其他好文 时间:
2018-06-20 12:50:56
阅读次数:
179
Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作。为了方便,使用root用户。 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息: hostname IP mask gateway DNS 备注 master ...
分类:
其他好文 时间:
2018-06-20 00:54:11
阅读次数:
249