HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等..
分类：
其他好文 时间：
2017-10-11 22:39:19
阅读次数：
224
前面已经完成Zookeeper和HDFS的安装，本文会详细介绍Hbase的安装步骤。以及安装过程中遇到问题的汇总。Hadoop集群搭建(一)ZookeeperHadoop集群搭建(二)HDFS下面开始Hbase的安装。Hbase的服务器规划192.168.67.101c6701--Master+regionserver
192.168.67.102c6702--Master(stand..
分类：
其他好文 时间：
2017-10-11 22:31:26
阅读次数：
145
1、安装虚拟机 VMware workstation CentOS 镜像 安装Linux虚拟机：（在Win7上） 1）安装VMwareWorkstations（可修改配置） 2）添加CentOS镜像（启动安装 ->配置网络） 网络配置：NAT模式 网络重启：service network resta ...
分类：
其他好文 时间：
2017-10-01 13:11:47
阅读次数：
213
hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间（大约10几秒-半分钟左右），namenode1上namenode进程停掉，查看日志： 一、查阅资料后找到原因： 我是用start-al.sh启动的集群，journalnode（端口8485）是在n ...
分类：
编程语言 时间：
2017-08-29 12:44:36
阅读次数：
196
关于SSH配置 在配置SSH的时候，要明白ssh_config主要负责ssh的客户端，sshd_config主要是负责服务器端配置；但是两者配置文件内容是一样的，处理方式是对于没有用的参数注释掉；其中有一项是PermitRootLogin，其实这一项是服务器端需要进行配置的，但我在ssh_confi ...
分类：
其他好文 时间：
2017-07-16 09:53:13
阅读次数：
161
4. 集群搭建 4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资 ...
分类：
其他好文 时间：
2017-06-17 15:06:05
阅读次数：
183
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形 ...
分类：
其他好文 时间：
2017-05-14 20:35:22
阅读次数：
224
基于 LXD 的虚拟化容器，我们可以很方便的、很节约资源的在 Linux 主机下进行 3 节点甚至更多节点的 Hadoop 集群搭建练习。非常利于硬件资源不足的学生、老师进行演示。 ...
分类：
系统相关 时间：
2017-05-13 23:13:00
阅读次数：
251
1、软件准备 a)、操作系统：CentOS-7-x86_64-DVD-1503-01 b)、虚拟机：VMware-workstation-full-9.0.2-1031769（英文原版先安装） VMware Workstation 9.0.2.1031769(汉化包后安装) c)、xftp4、XSh ...
分类：
其他好文 时间：
2017-04-23 21:36:19
阅读次数：
243
在Linux上搭建Hadoop集群搭建笔记 1、安装虚拟机 下载软件： VMware workstation CentOS 镜像 2、远程连接 下载软件并安装 Xshell5 http://www.netsarang.com/products/xsh_overview.html xftp5 http ...
分类：
系统相关 时间：
2016-12-03 21:07:42
阅读次数：
308
