Alluxio 1.5集群搭建

标签：pre   tar   生效   art   microsoft   memory   拷贝   文件传输   color   

一、依赖文件安装

    1.1 JDK

         参见博文：http://www.cnblogs.com/liugh/p/6623530.html

二、文件准备

     2.1 文件名称

         alluxio-1.5.0-hadoop-2.7-bin.tar.gz

     2.2 下载地址

        http://downloads.alluxio.org/downloads/files/1.5.0/alluxio-1.5.0-hadoop-2.7-bin.tar.gz

三、工具准备

    3.1 Xshell

      一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

      Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

    3.2 Xftp

     一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。

    使用了 Xftp 以后，MS windows 用户能安全地在UNIX/Linux 和 Windows PC 之间传输文件。

四、部署图

五、Alluxio安装

    以下操作，均使用root用户

   5.1 通过Xftp将下载下来的Alluxio安装文件上传到Master的/usr目录下

   5.2 通过Xshell连接到虚拟机，在Master上，执行如下命令，解压文件：

        # tar zxvf alluxio-1.5.0-hadoop-2.7-bin.tar.gz

   5.3 在Master上，使用Vi编辑器，设置环境变量

        # vi /etc/profile

        在文件最后，添加如下内容：       

   5.4 退出vi编辑器，使环境变量设置立即生效

       # source /etc/profile

       通过scp命令，将/etc/profile拷贝到两个Slave节点：

       #scp /etc/profile root@DEV-SH-MAP-02:/etc

       #scp /etc/profile root@DEV-SH-MAP-03:/etc

       分别在两个Salve节点上执行# source /etc/profile使其立即生效

六、Alluxio配置

   登录Master节点，切换到/usr/alluxio-1.5.0-hadoop-2.7/conf目录下：

   6.1 alluxio-env.sh

    将alluxio-env.sh.template复制一份，改为alluxio-env.sh

    #cp alluxio-env.sh.template alluxio-env.sh

    使用vi编辑器，打开alluxio-env.sh，在文件最后，添加如下内容：

export ALLUXIO_MASTER_HOSTNAME=DEV-SH-MAP-01

export ALLUXIO_WORKER_MEMORY_SIZE=2GB

 【注】worker节点内存大小，配置文件里所默认是1G，但是如果不配置这个选项，默认好像是全部内存的2/3，所以最好还是指定具体大小

   6.2 workers

    使用vi编辑器，打开workers，在文件最后，添加如下内容：

DEV-SH-MAP-02
DEV-SH-MAP-03

  6.3 拷贝文件目录到两个Worker节点

   在Master节点，执行如下命令：   

   #alluxio copyDir /usr/alluxio-1.5.0-hadoop-2.7/

七、Alluxio使用

   【注】直接使用#alluxio-start.sh all没有启动成功，下面分别启动master以及worker

   7.1 启动Master节点

       在Master节点，执行如下命令：  

       #alluxio-start.sh master

      使用jps命令查看是否启动成功：

25934 AlluxioMaster

  7.2 启动Worker节点

      分别在两个Worker节点上，执行如下命令：

      #alluxio-start.sh worker

     使用jps命令，查看是否启动成功：

7.3 通过浏览器查看Alluxio信息

    浏览器中，输入http://10.10.0.1:19999

   7.5 停止Master及Workder节点

     #alluxio-stop.sh master

     #alluxio-stop.sh worker

Alluxio 1.5集群搭建

标签：pre   tar   生效   art   microsoft   memory   拷贝   文件传输   color   

原文地址：http://www.cnblogs.com/liugh/p/7309652.html