参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这些过程烦恼。...
分类:
其他好文 时间:
2014-11-25 23:35:11
阅读次数:
238
1、开发配置环境: 具体的就不介绍了,请参考我另外一篇文章http://my.oschina.net/lanzp/blog/309078 2、Hadoop节点配置 在讲解之前,先声明一点,这篇文章的所有环境都是基于上一篇伪分布的配置文章的基础上再做...
分类:
其他好文 时间:
2014-11-22 09:24:19
阅读次数:
265
关于使用java api上传文件。 在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的,单机版使用的是FileSystem类的静态函数FileSystem hdfs = FileSystem.get(conf)伪分布式下需要使用Path来获得Path dstDir = new ...
分类:
其他好文 时间:
2014-11-18 23:52:58
阅读次数:
239
Ubuntu 下使用hadoop2.4搭建伪分布式集群...
分类:
系统相关 时间:
2014-11-15 18:54:35
阅读次数:
285
本地独立模式,MySQL作为元数据库1 安装环境准备 1.1 安装JDK,在安装hadoop时候已经安装了,参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.2 安装hadoop,参考http://www.cnblogs.com/liu.....
分类:
系统相关 时间:
2014-11-15 14:06:05
阅读次数:
312
1:环境准备 1台linux服务器, hadoop安装包(apache官方网下载) jdk1.6+2:安装jdk ,配置好环境变量(etc/profile),java -version 测试正确进行下一步。3:配置ssh免密码登录 cd ~ ssh-keygen -t rsa 产生密钥,位于~/.....
分类:
系统相关 时间:
2014-11-14 14:12:16
阅读次数:
229
HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中。本文是安装的伪分布式。安装步骤如下 1 环境配置 2 安装说明1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变...
分类:
系统相关 时间:
2014-11-14 13:49:25
阅读次数:
300
说明:hadoop安装,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件:Myeclipse-2014-GA,hadoop-2.5.1.tar.gz,hadoop-eclipse-plugin-2.5.0.jar软件下载地址:链接: http://pa...
分类:
编程语言 时间:
2014-11-09 19:28:31
阅读次数:
179