前言: 前段时间自己学习如何部署伪分布式模式的hadoop环境，之前由于工作比较忙，学习的进度停滞了一段时间，所以今天抽出时间把最近学习的成果和大家分享一下。 本文要介绍的是如何利用VMware搭建自己的hadoop的集群。如果大家想了解伪分布式的大家以及eclipse中的hadoop编程，...
分类：
系统相关 时间：
2015-02-01 13:24:15
阅读次数：
280
实现真正的分布式的hadoop，并不是伪分布式的。
一、系统与配置
共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0
192.168.1.10 NameNode master （master）
192.168.1.20 DateNode slave1（Slave）...
分类：
系统相关 时间：
2015-01-28 09:55:38
阅读次数：
290
首先安装JDK，从Oracle官网下载在 /usr/目录下mkdir java创建一个java目录将jdk-7u72-linux-x64.rpm 放入java目录下执行rpm –ivh jdk-7u72-linux-x64.rpm再从Apache官网下载在 /usr/目录下 mkdir hadoop...
分类：
其他好文 时间：
2015-01-24 20:06:23
阅读次数：
208
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.68.0 子网掩码：255.255.255.0 -> apply -> ok 回到windo...
分类：
其他好文 时间：
2015-01-23 17:56:41
阅读次数：
143
1.zookeeper3.4.6的安装与使用学习环境使用为分布式的安装方式下载解压配置修改数据存放目录，端口复制配置到zoo1.cfg,zoo2.cfg,zoo3.cfg创建节点标识启动集群测试
分类：
其他好文 时间：
2015-01-14 18:26:29
阅读次数：
135
安装Hadoop时候需要设置SSH ,故将此过程记录下来 推荐安装 OpenSSH ， Hadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程，因此 SSH 是必需安装的。虽然我们现在搭建的是一个伪分布式的平台，但是 Hadoop 没有区分开集群式和伪分布式，对于伪分布...
分类：
系统相关 时间：
2015-01-07 14:54:24
阅读次数：
464
可参阅官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html文件下载：http://mirrors.hust.edu.cn/apache/hadoop/common/注：可直接使用2.5.2或2.6.0版本都解决了2.5.1中不稳定bug1伪分布式部署以测试通过的为例Linuxversion..
分类：
其他好文 时间：
2015-01-04 19:36:21
阅读次数：
254
1.伪分布式的安装1.1修改ip(1)打开VMWare或者VirtualBox的虚拟网卡(2)在VMWare或者VirtualBox设置网络连接方式为host-only(3)在linux中，修改ip。有上角的图标，右键，选择Edit Connections....****ip必须与windows下虚...
分类：
其他好文 时间：
2015-01-02 17:20:39
阅读次数：
303
内容包括hadoop单机版、伪分布式、分布式搭建方式以及在Eclipse上面安装hadoop插件配置hadoop，本菜亲测成功，希望对大家能产生帮助：
http://www.cnblogs.com/kinglau/category/509016.html
http://www.cnblogs.com/huligong1234/p/3533382.html
http://aub.ite...
分类：
其他好文 时间：
2014-12-26 23:06:19
阅读次数：
324
二、Hadoop伪分布式模式配置
本实验需要按照上一节单机模式部署后继续进行操作
1. 配置core-site.xml, hdfs-site.xml，mapred-site.xml及yarn-site.xml
1).修改core-site.xml:
$ sudo gvim /usr/local/hadoop/etc/core-site.xml
configurat...
分类：
其他好文 时间：
2014-12-23 21:11:31
阅读次数：
173
