【参考文章】：hadoop集群搭建（hdfs） 1. Hadoop下载 官网下载地址： https://hadoop.apache.org/releases.html，进入官网根据自己需要下载具体的安装包 清华大学安装包的镜像文件下载地址： https://mirrors.tuna.tsinghua ...
分类：
其他好文 时间：
2018-12-28 20:43:44
阅读次数：
204
准备工作 开启全部三台虚拟机,确保hadoop100的机器已经配置完成 脚本 操作hadoop100 新建一个xsync的脚本文件,将下面的脚本复制进去 给xsync文件加可执行权限 将xsync拷贝到 /bin 目录下,以后可以随处使用 运行以下命令,根据提示输入密码,将文件进行拷贝(拷贝前,如果 ...
分类：
其他好文 时间：
2018-12-04 13:04:27
阅读次数：
209
官方主页： http://www.centos.org/ 官方Wiki： http://wiki.centos.org/ 官方中文文档 ：http://wiki.centos.org/zh/Documentation 安装说明： http://www.centos.org/docs/ 1.环境准备： ...
分类：
其他好文 时间：
2018-11-29 15:02:16
阅读次数：
167
1.简介Hadoop是大数据通用处理平台，提供了分布式文件存储以及分布式离线并行计算，由于Hadoop的高拓展性，在使用Hadoop时通常以集群的方式运行，集群中的节点可达上千个，能够处理PB级的数据。Hadoop各个模块剖析：https://×××w.cnblogs.com/funyoung/p/9889719.html2.Hadoop集群架构图3.Hadoop集群搭建3.1修改配置1.配置SSH
分类：
其他好文 时间：
2018-11-23 18:27:13
阅读次数：
186
一、前言 1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群 二、搭建Hadoop集群 1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来 2、清空 ...
分类：
其他好文 时间：
2018-11-21 11:01:35
阅读次数：
171
环境：CentOS 7 JDK： 1.7.0_80 hadoop：2.8.5 两台机器：master(192.168.56.101) slave(192.168.56.102) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙(每个节点) 2. 每台主机添加hosts记录(每个节点) ...
分类：
其他好文 时间：
2018-11-13 20:40:47
阅读次数：
189
版本 Hadoop3.1.0 https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/ jdk1.8 zookeeper3.4.6 https://archive.apache.org/dist/zookeeper/zookeeper-3 ...
分类：
其他好文 时间：
2018-11-04 21:04:33
阅读次数：
150
环境搭建 Hadoop集群搭建 写在前面，前面我们快速搭建好了centos的集群环境，接下来，我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本：CDH 5.7.0 这里，我想说一下，我们我没有选择官方版本，是因为，cdh版本已经解决好了各个组件之间的依赖。因为，后面，我们还会使用 ...
分类：
其他好文 时间：
2018-10-31 15:37:14
阅读次数：
250
Zookeeper安装 cd /opt/ tar -zxvf zookeeper-3.4.10.tar.gzmv zookeeper-3.4.10 /opt/zookeeper修改配置文件cd /opt zookeeper-3.4.10/conf/cp zoo_sample.cfg zoo.cfgv ...
分类：
其他好文 时间：
2018-08-27 15:28:56
阅读次数：
171
接下来开始真正意义上的集群搭建 Tip：hadoop集群搭建完以后，最好要格式化：hadoop namenode -format; HDFS集群是否启动成功，看这两个进程：namenode/datanode; Yarn集群是否启动成功，看这两个进程：Resourcemanager/Namemanag ...
分类：
其他好文 时间：
2018-08-20 17:56:40
阅读次数：
193
