Hive在客户端上的安装部署 一、客户端准备： 到这我相信大家都已经打过三节点集群了，如果是的话则可以跳过一，直接进入二。如果不是则按流程来一遍！ 1、克隆虚拟机，见我的博客：虚拟机克隆及网络配置 2、 实现客户端和集群的连接（该步骤为多节点集群搭建，详情见我博客：三节点Hadoop集群搭建，有多节 ...
分类：
其他好文 时间：
2018-05-14 22:04:45
阅读次数：
207
Hadoop集群搭建 发行版本集群简介HDFS集群负责海量数据的存储YARN集群负责海量数据运算时的资源调度MapReduceHadoop部署方式分类集群按以上分布的原因具体搭建步骤搭建前准备1.准备Linux环境1.0 配置好各虚拟机的网络（采用NAT联网模式）1.1修改各个虚拟机主机名1.2修改... ...
分类：
其他好文 时间：
2018-05-09 12:06:57
阅读次数：
176
HADOOP是apache旗下的一套开源软件平台，利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 ...
分类：
其他好文 时间：
2018-04-29 14:28:52
阅读次数：
228
1. 基础环境搭建 新建3个CentOS6.5操作系统的虚拟机，命名（可自定）为masternode、slavenode1和slavenode2。该过程参考上一篇博文CentOS6.5安装配置详解 2.Hadoop集群搭建（以下操作中三个节点相同的地方就只给出主节点的截图，不同的才给出所有节点的截图 ...
分类：
其他好文 时间：
2018-04-20 18:58:15
阅读次数：
195
搭建Linux虚拟机 VMware虚拟机安装Linux 系统 1、首先打开网易开源镜像站: http://mirrors.163.com/ 当然，大家也可以使用阿里开源镜像站：http://mirrors.aliyun.com/ 2、点击进入centos目录。 3、因为我们选择安装centos6.5 ...
分类：
系统相关 时间：
2018-04-07 20:05:33
阅读次数：
171
分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构，主从节点 管理者和工作者 问题：如果主节点或是管理者宕机了。会出现什么问题？ 群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题： 当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单点故障。SPOF 单 ...
分类：
其他好文 时间：
2018-03-08 19:37:52
阅读次数：
206
概念了解 主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master ...
分类：
其他好文 时间：
2018-03-07 20:15:38
阅读次数：
237
搭建Hadoop的分布式集群 Hadoop集群搭建的准备操作： 1、准备四台服务器 四台服务器的主机名分别是：potter2、potter3、potter4、potter5。 对以上四台服务器需要做一下准备操作，这些准备都是为了将来搭建Hadoop集群做准备的。 （1）修改各个服务器的主机名。 第一 ...
分类：
其他好文 时间：
2018-03-03 19:28:57
阅读次数：
213
1.集群简介 Hadoop集群具体来说包括两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群： 负责海量数据的存储，集群中的角色主要有NameNode/DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有ResourceManage/ ...
分类：
其他好文 时间：
2018-01-30 21:13:40
阅读次数：
191
Hadoop 集群搭建目录集群简介服务器准备环境和服务器设置JDK环境安装Hadoop安装部署启动集群测试集群简介在进行集群搭建前，我们需要大概知道搭建的集群都是些啥玩意。HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者在逻辑上分离，但物理上常在一起（啥意思？就是说：HDFS集群和YARN集群，他们俩是两个不同的玩意，但很多时候都会部署在同一台物理机器上）HDFS集群：负责海
分类：
其他好文 时间：
2018-01-24 14:04:37
阅读次数：
167
