Hadoop伪分布模式配置部署 一、实验介绍 Hadoop伪分布模式配置部署 一、实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 ...
分类:
其他好文 时间:
2018-06-20 00:09:35
阅读次数:
244
由于本地测试和服务器不在一个局域网,安装的hadoop配置文件是以内网ip作为机器间通信的ip. 在这种情况下,我们能够访问到 机器, 会给我们数据所在机器的ip地址供我们访问数据传输服务, 但是返回的的是 内网的ip,我们无法根据该 访问 服务器. 报错如下 为了能够让开发机器访问到hdfs,我们 ...
分类:
其他好文 时间:
2018-06-06 22:20:32
阅读次数:
657
上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF ...
分类:
其他好文 时间:
2018-05-20 18:08:05
阅读次数:
222
上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 ...
分类:
其他好文 时间:
2018-05-20 16:37:16
阅读次数:
325
1、背景 公司线下环境,原本有三台虚拟机组成的集群(cdh5.3.6),由于硬件配置比较低,申请了新的三台机器,8核8G内存,在上面部署了cdh5.11.1,较新的cdh集群。 由于远来的三台还在使用,所以打算把新的三台机器搭建好后,再把原来三台机器合并进来。 2、过程 (1)让hadoop001, ...
分类:
其他好文 时间:
2018-05-18 01:26:59
阅读次数:
244
折腾了这么久,hbase终于装好了 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 在安装之前,查了一下资料,关于hbase与hadoop兼容性的。 最开始看 ...
分类:
其他好文 时间:
2018-05-18 01:24:49
阅读次数:
420
Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建 进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安装5:Hadoop普通集群模式的安装6:Hbase普通模式的安装7:Hadoop HA集群模式的安装 8 ...
分类:
其他好文 时间:
2018-05-15 10:36:24
阅读次数:
189
环境:Centos 6.9,Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9 前言: 1、配置一台master服务器,两台或多台slave服务器。 2、master可以无密码ssh登陆slave 3、解压安装Hadoop,配置hadoop的core-site.xml、hd ...
分类:
其他好文 时间:
2018-05-04 11:47:17
阅读次数:
172
请看上一篇linux 的安装。环境:centos6.5 3台主机 (复制主机,可以直接复制虚拟机文件)一台为主,复制的为从。 master-ip:192.168.237.10 slave1-ip:192.168.237.11 slave2-ip:192.168.237.12 上网调试: 分别进入
分类:
其他好文 时间:
2018-03-27 10:54:30
阅读次数:
181
在spark1上操作 1. 安装Hadoop $ cd /usr/local $ tar -zxvf hadoop-2.4.1.tar.gz $ mv hadoop-2.4.1 hadoop $ vi ~/.bashrc $ source .bashrc 2. Hadoop配置 $ cd /usr/ ...
分类:
其他好文 时间:
2018-03-18 16:21:38
阅读次数:
165