2、安装3台虚拟机并实现SSH免密登录 (1)安装三台虚拟机centos7 第一台正常安装,后两台做克隆。配置好IP地址,关闭防火墙跟SELINUX。 106.14.69.185 server1 121.5.218.141 server2 (2)修改用户名以及对应的IP # vi /etc/host ...
分类:
其他好文 时间:
2021-05-24 05:35:32
阅读次数:
0
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa ...
分类:
其他好文 时间:
2021-03-09 12:59:55
阅读次数:
0
一、Hadoop集群安装 1. 环境准备 (1) 准备三台机器:hadoop0(192.168.11.10)、hadoop1(192.168.11.11)、hadoop2(192.168.11.12) (2)每台机器安装好JAVA环境以及SSH打通(SSH免密登录;关闭防火墙) 2. 下载Hadoo ...
分类:
其他好文 时间:
2020-08-11 10:44:56
阅读次数:
79
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类:
其他好文 时间:
2020-07-29 00:41:18
阅读次数:
111
一、课前准备 1. 3节点hadoop集群 2. 安装IDEA 3. 安装maven并配置环境变量 二、课堂主题 1. 围绕MapReduce分布式计算讲解 三、课堂目标 1. 理解MapReduce编程模型 2. 独立完成一个MapReduce程序并运行成功 3. 了解MapReduce工程流程 ...
分类:
其他好文 时间:
2020-06-24 00:32:41
阅读次数:
54
Hadoop 2.x 集群安装,包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类:
其他好文 时间:
2020-04-29 10:44:59
阅读次数:
76
hadoop集群安装模式 1)单机模式 直接解压,无需任何配置。主要用于测试代码。没有分布式文件系统。 2)伪分布式 完全分布式的一种形式,只是所有的进程都配置要一个节点上。有分布式文件系统,只不过是这个文件系统只有一个节点。 3)完全分布式 包含主节点和从节点,主节点namenode只有一个(一般 ...
分类:
其他好文 时间:
2019-08-01 09:43:21
阅读次数:
117
前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与 ...
分类:
其他好文 时间:
2019-07-24 19:14:56
阅读次数:
88
:一、安装jdk环境(前提) 二、安装hadoop(hadoop-2.7.7.tar.gz) 1. 角色分配(3节点搭建) node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类:
其他好文 时间:
2019-06-05 23:35:35
阅读次数:
111
hadoop的基本概念伪分布式hadoop集群安装hdfs、MapReduce演示互联网正在从IT走向DT时代。大数据应用分析1、统计类的分析2、推荐类的分析3、机器学习(分类,聚类)4、人工智能、预测(算法)一、什么是hadoop官网:http://hadoop.apache.orghadoop是apache旗下的一套开源软件平台。是一个可靠的、可扩展的、可分布式计算的开源软件。apacheha
分类:
其他好文 时间:
2019-04-19 12:11:49
阅读次数:
176