本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 1 环境介绍 一台阿里云ECS服务器：master 操作系统：CentOS 7.3 Hadoop：hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar. ...
分类：
其他好文 时间：
2019-11-23 12:20:19
阅读次数：
98
本人在搭建完全分布式时， 启动start-all.sh时： 出现了slave1:mkdir :无法创建目录"/opt/apps/hadoop/logs":权限不够 slave2:mkdir:无法创建目录"/opt/apps/hadoop/logs":权限不够 顾名思义肯定是slave1,和slave ...
分类：
移动开发 时间：
2019-11-08 20:52:41
阅读次数：
375
1. 前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 2. 上传tar包并修改配置文件 解压tar包到指定目录 进入配置目录 vim hb ...
分类：
系统相关 时间：
2019-11-03 16:26:41
阅读次数：
91
前述：这篇文档是建立在三台虚拟机相互ping通，防火墙关闭，hosts文件修改，SSH 免密码登录，主机名修改等的基础上开始的。 一．传入文件 1.创建安装目录 mkdir /usr/local/soft 2.打开xftp，找到对应目录，将所需安装包传入进去 查看安装包：cd /usr/local/ ...
分类：
其他好文 时间：
2019-11-02 18:07:15
阅读次数：
78
1、统一安装jdk 这里准备4台虚拟机，给其他三台都安装jdk 分别更改hostname为slave1、slave2、slave3. vim /etc/sysconfig/network hostname slave1 统一更改hosts文件vim /etc/hosts IP masterIP sl ...
分类：
其他好文 时间：
2019-11-02 18:06:27
阅读次数：
89
一、准备物理集群。1、物理集群搭建方式。采用搭建3台虚拟机的方式来部署3个节点的物理集群。2、虚拟机准备。准备一个已近建好的虚拟机进行克隆。（建议为没进行过任何操作的）在要选择克隆的虚拟机上右击鼠标，管理，克隆。在弹出对话框中进行以下操作。（1）、下一步。（2）、选择虚拟机中的当前状态，下一步。（3）、选择创建完整克隆，下一步。（4）、输入虚拟机名称，下一步。（5）、克隆完成。（6）、按照
分类：
其他好文 时间：
2019-10-26 23:11:10
阅读次数：
115
1.安装jdk 1)下载jdk-8u65-linux-x64.tar.gz 2)创建/soft文件夹 $>sudo mkdir /soft $>sudo chown grj:grj /soft 3)tar开 $>tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft ...
分类：
其他好文 时间：
2019-10-18 12:40:01
阅读次数：
120
基于Docker搭建大数据集群（七）Hbase搭建 一、安装包准备 "Hbase官网下载" ) "微云下载 | 在 tar 目录下" 二、版本兼容 三、角色分配 节点|Master|Regionserver | | cluster master|yes|no cluster slave1|backu ...
分类：
其他好文 时间：
2019-09-30 12:47:55
阅读次数：
103
目的 记录学习hadoop过程中遇到的基础问题，无关大小、无关困扰时间长短。 问题一 全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHostException: 没有到主机的路由 在全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHo ...
分类：
其他好文 时间：
2019-09-14 19:02:52
阅读次数：
133
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
