码迷,mamicode.com
首页 > 系统相关 > 详细

ubuntu 下安装伪分布式 hadoop

时间:2014-11-05 19:52:33      阅读:200      评论:0      收藏:0      [点我收藏+]

标签:hadoop   伪分布式   ubuntu   

安装准备:

(1)hadoop安装包:hadoop-1.2.1.tar.gz
(2)jdk安装包:jdk-7u60-linux-i586.gz
(3)要是需要eclipse开发的话 还需要eclipse安装包 和eclipse和hadoop相关连的jar包。

安装:

(1)可以选择一个新建用户安装 也可以使用目前账户。
bubuko.com,布布扣
(2)规定 所属用户组:
bubuko.com,布布扣
(3) 给予用户hadoop权限:
sudo vim /etc/sudoers 修改添加:bubuko.com,布布扣
 说到vim ubuntu本身自带的是vim tiny 不可用 需要使用的是vim full版本 需要下载安装:
sudo apt-get  remove vim-common
sudo apt-get install vim
vim 本身的一些配置可根据自己的喜好进行设置。
(4) 安装 jdk:
根据自己需要选择安装路径、
sudo mkdir /usr/java
tar -zxvf jdk-7u60-linux-i586.gz
mv jdk-1.7.0 jdk(修改名字 可以不设置(最好))
bubuko.com,布布扣
删除安装包:
bubuko.com,布布扣
(5)  配置jdk环境:
sudo vim /etc/profile 添加
bubuko.com,布布扣
更新一下(必须):source /etc/profile
测试一下:
bubuko.com,布布扣
jdk 完成。
(6) ssh 免密码:
一般ssh-client 包含在ubuntu系统中,但是ssh-server并没有 安装,可以通过 ssh ip 测试下;
安装ssh-server: sudo apt-get install ssh
安装之后进行操作:
bubuko.com,布布扣
生成:
bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

ssh 可以登录。
(7) 安装hadoop
可以先创建一个hadoop到文件夹:
sudo mkdir /usr/hadoop
cd /usr/hadoop/
sudo tar -zxvf hadoop-1.2.1.tar.gz
sudo mv hadoop-1.2.1 hadoop
sudo chown -R hadoop:hadoop hadoop 将文件夹hadoop 读权限赋予hadoop用户
sudo rm -rf hadoop-1.2.1.tar.gz
安装之后需要进行配置:
配置 /etc/profile 添加:
sudo vim /etc/profile
bubuko.com,布布扣
配置hadoop-env.sh文件:
sudo vim /usr/hadoop/conf/hadoop-env.sh:
bubuko.com,布布扣

建立一个文件夹:用于配置hadoop.tmp.dir参数:
sudo mkdir /usr/hadoop/tmp

配置核心文件:
core-site.xml:
bubuko.com,布布扣

hdfs-site.xml:
bubuko.com,布布扣

mapred-site.xml:
bubuko.com,布布扣

启动:由于前面配置 输入:
格式化节点:
hadoop namenode -format
启动:start-all.sh
jps 查看
bubuko.com,布布扣
停止:stop-all.sh 

(8)安装eclipse
同上 先创建一个文件夹 解压安装....
bubuko.com,布布扣
进去启动eclipse 遇到个小问题:
      eclipse找不到jdk 或是jre
解决:
cd /home/hadoop/eclipse (安装eclipse)
sudo ln -sf $JRE_HOME jre
就是这个:
bubuko.com,布布扣
进行eclipse 配置hadoop 将相关连的插件 复制到 eclipse下到plugins文件夹里面:
bubuko.com,布布扣

启动 eclipse:
 window->perferences:
bubuko.com,布布扣
hadoop的安装目录。
设置:
右键下面的空白区域:
bubuko.com,布布扣
出现:并配置
bubuko.com,布布扣

bubuko.com,布布扣
bubuko.com,布布扣

点开左侧小象:
bubuko.com,布布扣
eclipse配置完成。

以后可以在eclipse书写作业  然后到终端进行执行。

配置遇到的问题:
namenode datanode 没有起来:
解决如下:
(1)删除 /usr/hadoop/tmp
(2)在创建 : sudo mkdir /usr/hadoop/tmp
(3)删除 /tmp文件夹下 所有以hadoop开头的文件:
sudo rm -rf /tmp/hadoop*
(4)重新格式化:
hadoop namenode -format
(5)启动 
start-all.sh

ubuntu 下安装伪分布式 hadoop

标签:hadoop   伪分布式   ubuntu   

原文地址:http://blog.csdn.net/xd_122/article/details/40824567

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!