1.准备两台虚拟机，配置hosts文件 vim /etc/hosts 加入两台虚拟机的ip 和主机名(两台分别都要配置) 2.配置ssh免密通信 ssh-keygen ssh-copy-id 主机名 ssh 主机名（测试是否免密成功 3.配置hdfs-site.xfs文件 <configuratio ...
分类：
其他好文 时间：
2020-02-25 19:52:10
阅读次数：
51
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
用来测试，我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上，如果有条件建议大家把NameNode单独放在一台机器上，因为NameNode是集群的核心承载压力是很大的。hadoop版本：Hadoop-2.7.4； had ...
分类：
其他好文 时间：
2019-03-31 13:35:26
阅读次数：
201
一、概述概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现特性4V：volumn体量大velocity速度快variaty样式多value价值密度低模块：hadoopcommon公共类库，支持其他模块HDFS
分类：
其他好文 时间：
2018-05-22 16:41:52
阅读次数：
210
本次测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/09 ...
分类：
其他好文 时间：
2017-08-21 22:20:56
阅读次数：
329
一、规划192.168.10.135Master192.168.10.132Slave1192.168.10.133Slave2注:均已关闭SELinux和Firewalld.二、部署前准备a.添加Hadoop用户并设置密码#useraddhadoop
#passwd--stdinhadoopb.添加sudo权限#ls-la/etc/sudoers
#chmodu+w/etc/sudoers##添加写权限
#vi/etc/sudoers
9..
分类：
其他好文 时间：
2016-04-22 16:54:28
阅读次数：
279
一、准备软件环境：hadoop-2.6.0.tar.gzCentOS-5.11-i386jdk-6u24-linux-i586Master:hadoop02192.168.20.129Slave01:hadoop03192.168.20.130Slave02:hadoop04192.168.20.131二、安装JDK、SSH环境和hadoop【先在hadoop02下】对于JDKchmodu+xjdk-6u24-linux-i586.bin
./jdk-6u24-..
分类：
其他好文 时间：
2015-05-11 18:20:41
阅读次数：
432
三台机器分别命名为：hadoop-master ip:192.168.0.25hadoop-slave1 ip:192.168.0.26 hadoop-slave2 ip:192.168.0.27部署前的基本准备：三台机器共同的用户hadoop，三台机器已经设置好静态ip且能互相pi...
分类：
系统相关 时间：
2014-12-14 21:08:05
阅读次数：
360
