1.修改host vim /etc/hosts 192.168.1.70 slave192.168.1.106 master 2.master免密登陆slave master将公钥发送到slave： scp ~/.ssh/authorized_keys slave:~/ slave将授权登陆 mv ...
分类：
其他好文 时间：
2018-08-15 21:05:54
阅读次数：
149
sudo adduser hadoop sudo 创建Hadoop用户 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : 创建Hadoop用户 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : sudo useradd -m hadoop -s /bin/ ...
分类：
其他好文 时间：
2018-08-14 19:55:54
阅读次数：
217
Hadoop集群搭建及介绍： 什么是hadoop？ Hadoop是Apache开源的，可靠的，可扩展的一个项目； 能解决的问题是： 1、海量数据的存储（hdfs） 2、海量数据的分析（MapReduce） 3、资源管理调度（YARN） 1、Hadoop子项目家族成员： 2、修改主机名： 3、配置ss ...
分类：
其他好文 时间：
2018-08-01 19:45:02
阅读次数：
153
[TOC] HBase集群建立在Hadoop集群基础之上，而且依赖于ZooKeeper，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且搭建好ZooKeeper集群。Hadoop与ZooKeeper集群的搭建在前面章节已讲解过，在此不再赘述。 9.1 集群环境搭建 HBase集群搭建 ...
分类：
其他好文 时间：
2018-07-11 12:39:22
阅读次数：
192
一、集群简介 HADOOP 集群具体来说包含两个集群：HDFS 集群和 YARN 集群，两者逻辑上分离，但物理上常在一起。 HDFS 集群负责海量数据的存储，集群中的角色主要有： NameNode、DataNode、SecondaryNameNode YARN 集群负责海量数据运算时的资源调度，集群 ...
分类：
其他好文 时间：
2018-07-04 22:52:26
阅读次数：
259
Hadoop集群搭建（完全分布式） 这里设置了NameNode的地址，是在ruixuan.com这台主机上，设置hadoop的临时目录，自己指定。 replication的是副本数，意思是一个文件需要在HDFS分布式文件系统中保存几分，建议 DataNode的数量应大于等于replication。 ...
分类：
其他好文 时间：
2018-06-20 12:50:56
阅读次数：
179
搭建环境： 虚拟机 VMware12Pro 操作系统 centos6.8 hadoop 1.2.1 1.导入镜像文件，添加java环境 1.查看当前系统中安装的java，ls /usr/share |grep java 2.删除自带java,rm -rf java* 3.解压jdk,tar -zxv ...
分类：
系统相关 时间：
2018-06-12 16:26:08
阅读次数：
162
配置好Hadoop、HDFS、YARN、Zookeeper集群后，需要按照顺序启动。 前期准备 配置好Hadoop、HDFS、YARN、Zookeeper集群 先stop掉所有的hadoop服务 使用 命令查看进程，确保只有 进程存在，没有其他的Hadoop服务进程。若存在Hadoop服务进程，使用 ...
分类：
其他好文 时间：
2018-05-23 00:00:08
阅读次数：
261
说明：在安装zookeeper+Hbase之前，我们应该已经将hadoop集群搭建好了（三个节点），并且验证启动成功。因为HBase是一种构建在HDFS之上的分布式、面向列的存储系 统。 zookeeper 安装及配置 貌似hBase自带的zookeeper只能用作伪分布式，想用于完全分布式要下载外 ...
分类：
其他好文 时间：
2018-05-20 14:14:36
阅读次数：
268
