1.首先安装好jdk并且配置好java的环境变量（具体方法可以在google中搜到）解压hadoop-0.20.2.tar.gz到你的ubuntu账户的目录中(/home/xxxx/hadoop)（解压到任何目录都可以吧，看个人需要，不过配置下面文件的时候一定要改成自己的路径）修改hadoop下的c...
分类：
系统相关 时间：
2015-03-21 09:42:53
阅读次数：
193
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da...
分类：
其他好文 时间：
2015-03-04 09:47:45
阅读次数：
142
软件：
hadoop1.1.2、pietty(在windows系统下登录到linux虚拟机的远程登录软件)、winscp（在本地与远程计算机间安全的复制文件）、jdk-6u24-linux-i586.bin、virtualbox上安装的centos
系统（安装过程这里不说了）
安装步骤：
注：避免安装过程出现文件操作权限导致的问题，以下操作在root用户下进行。
1.安装ssh...
分类：
其他好文 时间：
2015-03-01 15:46:13
阅读次数：
173
Hadoop 伪分布式环境时运行wordcount程序，之前已经运行过一次，再次将input文件夹中的内容上传至HDFS时会出现重复，但是还是可以上传成功。但是当再次运行wordcount程序时就会报错：可以看到导致错误的原因时HDFS中的output文件夹已经存在了，所以必须要删除。（因为outo...
分类：
其他好文 时间：
2015-02-28 16:18:42
阅读次数：
482
一、准备linux环境1、更改VMware适配器设置由于是在单机环境下进行学习的，因此选择适配器模式是host-only模式，如果想要联网，可以选择桥接模式，配置的方式差不多。点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置..
分类：
其他好文 时间：
2015-02-24 23:29:19
阅读次数：
273
首先安装双系统进行伪分布式实验，安装win7+ubuntu双系统：1、右键单击“我的电脑”进入“管理”，双击“存储”，再双击“磁盘管理”，在D盘位置右击“压缩卷”，分出一个大小为50G的磁盘空间，然后格式化，之后再删除卷，作为安装ubuntu系统所用。2、下载安装easyBCD软件，新建一个Neo ...
二、Hadoop伪分布式模式配置
本实验需要按照上一节单机模式部署后继续进行操作
1. 配置core-site.xml, hdfs-site.xml，mapred-site.xml及yarn-site.xml
1).修改core-site.xml:
$ sudo gvim /usr/local/hadoop/etc/core-site.xml
configurat...
分类：
其他好文 时间：
2014-12-23 21:11:31
阅读次数：
173
Hadoop伪分布式配置过程：Hadoop：1.2.1Hbase：0.94.25nutch：2.2.1Java：1.8.0SSH：1.0.1jtomcat：7.0.57zookeeper：3.4.6（1）配置Java环境：http://www.cnblogs.com/xxx0624/p/416474...
分类：
系统相关 时间：
2014-12-21 13:49:57
阅读次数：
359
接上一篇《Ubuntu Kylin系统下安装Hadoop2.6.0》通过上一篇，Hadoop伪分布式基本配好了。下一步是运行一个MapReduce程序，以WordCount为例：1. 构建实现类：cd /usr/local/hadoopmkdir workspacecd workspacegedit...
分类：
系统相关 时间：
2014-12-19 21:58:12
阅读次数：
275
1.hadoop支持的平台：
GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点.
win32是一个开发平台，分布式操作还没有在win32系统上很好的测试， 所以它不被作为生产环境。
2.安装hdoop需要的软件：
linux和windows下安装hadoop需要...
分类：
其他好文 时间：
2014-12-03 15:44:24
阅读次数：
187
