一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类:
其他好文 时间:
2021-01-19 12:16:24
阅读次数:
0
引言 随着越来越多的人参与到互联网的浪潮来,曾经的单体应用架构越来越无法满足需求,所以,分布式集群架构出现,也因此,分布式搭建开发成为了Web开发者必掌握的技能之一。 那什么是分布式呢?怎么实现分布式以及怎么处理分布式带来的问题呢?本系列文章就来源于对分布式各组件系统的学习总结。 包含但不限于Zoo ...
分类:
其他好文 时间:
2020-11-01 21:20:01
阅读次数:
17
hbase2.1.9 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数 1. 指定位置解压 2. vi /etc/profile ...
分类:
其他好文 时间:
2020-07-04 19:08:39
阅读次数:
90
zookeeper3.5.5 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数 0.prepare 准备奇数台已经配置好jdk的 ...
分类:
其他好文 时间:
2020-07-04 18:40:31
阅读次数:
95
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo ...
分类:
其他好文 时间:
2020-06-26 10:33:25
阅读次数:
44
一、Liunx环境准备 VMware+CentOS 7.6, 1.1下面是VMware和Centos的资源地址,也可以自己从网上下载相应的版本 百度网盘地址:链接:https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码:9xka 1.2安装Linux ...
分类:
其他好文 时间:
2020-04-28 12:42:34
阅读次数:
85
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK,配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类:
其他好文 时间:
2020-03-24 15:39:44
阅读次数:
82
大数据伪分布式搭建 ***对于大数据这块相信大家对linux有一定的认识,所有对创建虚拟机那块就不给予详细的说明了。 基础环境的搭建 1.系统环境 平台:VMware Workstation pro 系统:centos 7 Hadoop版本: Apache Hadoop 3.0.0 本次实验是搭建一 ...
分类:
其他好文 时间:
2020-03-20 12:23:47
阅读次数:
56
HA+Zookeeper搭建: hadoop完全分布式搭建: https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建: https://www.cnblogs.com/Hephaestus/p/12420370.html Zook ...
分类:
其他好文 时间:
2020-03-12 09:59:28
阅读次数:
46
1.克隆一台虚拟机作为分布式系统的节点 2.更改克隆机的网络配置 cd /etc/sysconfig/network-scripts vi ifcfg-ens33 修改完毕后退出,重启网络: systemctl restart network 3.添加主机映射 先修改主机名:vi /etc/host ...
分类:
其他好文 时间:
2020-02-25 20:23:00
阅读次数:
53