实验性操作是在虚拟机里进行的，除了搭建hadoop本身的操作之外，遇到的其它问题总结如下： 1. 虚拟机挂载windows磁盘： 添加硬件，要保证该硬件此时没有被读写访问等，因为挂载后，该磁盘在宿主机上就不能用了。启动虚拟机linux，执行 fdisk –l 查看windows磁盘的分区，如/dev... ...
分类：
其他好文 时间：
2016-11-27 07:31:47
阅读次数：
188
核心内容:
1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件
2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件
3、Hadoop2.4.1 + HA 集群搭建核心配置文...
分类：
其他好文 时间：
2016-10-31 16:42:19
阅读次数：
228
目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。安装安装Hadoop集群..
分类：
其他好文 时间：
2016-09-18 06:43:37
阅读次数：
268
这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
本文记录在3台物理机上搭建Hadoop 2.6.0的详细步骤及碰到的问题解决。默认使用root账号操作，实际中建议使用专用的hadoop用户账号。1. 环境机器： 物理机3台，ip分别为192.168.1.130、192.168.1.132、192.168.1.134
操作系统： CentOS 6.6
Java： 1.7
Hadoop: 2.6.0请确保JDK已安装，使用java -versi...
分类：
其他好文 时间：
2016-07-13 16:28:08
阅读次数：
180
在前面我有写过关于 Hadoop 集群的搭建，不过之前的 Hadoop 是 1.x 版本的。目前是基于 2.x 版本的 Hadoop，与之前的 1.x 版本的差别还是挺大的。以及更为详细的 SSH 免密码互连登录的配置过程。所以，这里也把我搭建的过程记录下来了。希望于你有益。...
分类：
其他好文 时间：
2016-05-05 07:06:42
阅读次数：
286
搭建5个节点的Hadoop集群节点在实验室192.168.100.20:8006，用户名：root，密码：gzudb604，申请了5个节点，分别是：192.168.100.120 #主节点
192.168.100.123 #节点1
192.168.100.126 #节点2
192.168.100.127 #节点3
192.168.100.128 #节点4网络基本配置255.255.255....
分类：
其他好文 时间：
2016-03-26 07:31:26
阅读次数：
313
Hadoop集群搭建Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成..
分类：
其他好文 时间：
2016-02-24 15:51:40
阅读次数：
406
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-12-28 22:09:41
阅读次数：
246
之前有朋友问如何搭建一个更为稳定、数据更为安全、执行效率更高的Hadoop集群，其实搭建一个HA机制的集群就能满足这些需求。所以就以前的工作上的一些经验和总结来和大家介绍一下什么是高可用的Hadoop集群，以及如何把这个高可用的Hadoop集群搭建起来1、什么是HA机制 1.1、Hadoop-HA....
分类：
其他好文 时间：
2015-12-03 02:17:08
阅读次数：
231
