码迷,mamicode.com
首页 > 其他好文 > 详细

2、ambari搭建HDP集群

时间:2017-04-10 18:37:09      阅读:513      评论:0      收藏:0      [点我收藏+]

标签:mbed   page   mit   str   5.x   ppi   默认   socket   端口号   

一、平台环境

  1. 操作系统:CentOS release 6.5 (Final)
  2. Java版本:jdk1.8.0_60
  3. Ambari版本:2.2.1.0
  4. HDP版本:2.4.0
  5. MySQL版本:MySQL-5.6.25-1
  6. 用户权限:cent,sudo无密码
  7. 主机IP:192.168.234.145
  8. 安装包路径:~/packages

二、环境准备
1、 增加系统打开文件数和进程数
在每台服务器命令行执行:
  ulimit -n
显示当前可以打开的最大文件数
sudo vim /etc/security/limits.conf
在文件中添加
  * - nofile 655350
  * - nproc 655350
然后保存
断开服务器重新连接,再次执行
  ulimit -n
显示

技术分享

2、永久关闭linux swap

    执行

        cat /proc/sys/vm/swappiness

    结果为0表示已经关闭,否则执行

        sudo sysctl -w vm.swappiness=0

        sudo vi /etc/sysctl.conf

    在最后添加

        vm.swappiness=0

    然后执行

        sudo sysctl -p /etc/sysctl.conf

    可以看到刚才设置的vm.swappiness=0,设置成功

3、永久关闭防火墙

    执行关闭命令

        sudo service iptables stop

    执行关闭开机启动命令

        sudo chkconfig iptables off

    查看防火墙当前状态

        sudo service iptables status

4、永久关闭selinux

    执行立即关闭命令

        setenforce 0

    查看状态

        getenforce

    显示

        Permissive

    表示已经关闭

    永久关闭

        sudo vim /etc/selinux/config

    

        SELINUX=enforcing

    改成

        SELINUX=disabled

    保存,然后需要重启系统

    查看selinux状态,执行

        sestatus -v  

    显示

        SELinux status:                 disabled

    表示已经关闭。

5、取消CPU节能运行模式

6、修改主机名

    查看当前主机名

        hostname

    修改当前主机名

        hostname 主机名

    断开重连后查看主机名

        hostname

    将主机名写入/etc/sysconfig/network

        vi /etc/sysconfig/network

    修改

        HOSTNAME=主机名

    然后保存。

7、关闭THP

    /etc/rc.local文件中添加

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then 

  echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled 

fi 

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then 

  echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 

fi    

    然后重新启动服务器

8、配置/etc/hosts

    在每台服务器的/etc/hosts进行配置,配置方式为

        IP    hostname

    格式,示例如下

        192.168.4.202    hostname1

        192.168.4.203    hostname2

9、配置互通无密码连接

    执行

        ssh-keygen

    然后一路回车

        cd ~/.ssh

        cat id_rsa.pub

    将需要免密码登录到其他服务器的公钥复制,然后在每台要连接到的机器上执行

        cd ~/.ssh

        vim authorized_keys

    将复制好的公钥粘贴上去,保存。然后执行

        chmod 600 authorized_keys

    然后执行

        ssh 主机名

    然后按照提示输入yes,所有的服务器都做一遍。

10、配置启动ntp服务

    执行

        sudo yum install ntp

        sudo chkconfig ntpd on

        sudo service ntpd start

    结束

三、创建本地源

    1 下载源文件

        Ambari:http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz

        HDP:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz

        HDP_UTILS:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

        JDKhttp://download.oracle.com/otn/java/jdk/8u60-b27/jdk-8u60-linux-x64.tar.gz

                http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u60-linux-x64.tar.gz

        JCEhttp://public-repo-1.hortonworks.com/ARTIFACTS/jce_policy-8.zip

    2、下载源配置文件

        Ambari:

            sudo wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.1/ambari.repo -O /etc/yum.repos.d/ambari.repo

        HDP:

            sudo wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/hdp.repo -O /etc/yum.repos.d/hdp.repo

    3、创建本地源服务

        1)安装httpd

            sudo yum install httpd

            sudo chkconfig httpd on

            sudo service httpd start

        2)创建源

            sudo yum install yum-utils createrepo

            sudo mkdir -p /var/www/html/ 

            切换到安装包目录

            sudo tar xzvf ambari-2.2.1.0-centos6.tar.gz -C /var/www/html/

            sudo tar xzvf HDP-2.4.0.0-centos6-rpm.tar.gz -C /var/www/html/

            sudo tar xzvf HDP-UTILS-1.1.0.19-centos6.tar.gz -C /var/www/html/

            sudo mkdir -p /var/www/html/java

            sudo mv jdk-8u60-linux-x64.gz /var/www/html/java/

            sudo mv jce_policy-8.zip /var/www/html/java/

        3)重启httpd服务

            sudo service httpd restart

        4)配置repos文件

            sudo vim /etc/yum.repos.d/ambari.repo

            修改如下:

            #VERSION_NUMBER=2.2.1.1-161

            baseurl=http://192.168.234.145/AMBARI-2.2.1.0/centos6/2.2.1.0-161

            gpgkey=http://192.168.234.145/AMBARI-2.2.1.0/centos6/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

            保存。

            sudo vim /etc/yum.repos.d/hdp.repo

            [HDP-2.4.0.0]下修改如下:

            #VERSION_NUMBER=2.4.0.0-161

            baseurl=http://192.168.234.145/HDP/centos6/2.x/updates/2.4.0.0

            gpgkey=http://192.168.234.145/HDP/centos6/2.x/updates/2.4.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

            [HDP-UTILS-1.1.0.20]下修改如下:

            baseurl=http://192.168.234.145/HDP-UTILS-1.1.0.19/repos/centos6

            gpgkey=http://192.168.234.145/HDP-UTILS-1.1.0.19/repos/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

            保存。

四、MySQL安装

    1、下载安装包

        wget http://mirrors.sohu.com/mysql/MySQL-5.6/MySQL-5.6.30-1.linux_glibc2.5.x86_64.rpm-bundle.tar -P ~/packages

    2、安装过程

        cd ~/packages

        tar xvf MySQL-5.6.30-1.linux_glibc2.5.x86_64.rpm-bundle.tar 

        sudo rpm -qa | grep mysql

        sudo rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

        sudo yum search libaio

        sudo yum install libaio-devel.x86_64

        sudo rpm -ivh MySQL-client-5.6.25-1.linux_glibc2.5.x86_64.rpm

        sudo rpm -ivh MySQL-devel-5.6.25-1.linux_glibc2.5.x86_64.rpm

        sudo rpm -ivh MySQL-server-5.6.25-1.linux_glibc2.5.x86_64.rpm

    3、配置过程(配置文件/etc/my.cnf

        [client]

        default-character-set=utf8        

        [mysqld]

        datadir=/data/mysql

        socket=/var/lib/mysql/mysql.sock

        user=mysql

        # Disabling symbolic-links is recommended to prevent assorted security risks

        symbolic-links=0

        #default-character-set=utf8

        character_set_server=utf8

        init_connect=‘SET NAMES utf8‘

        innodb_buffer_pool_size=64M

        max_connections=800

        wait_timeout=86400

        [mysqld_safe]

        default-character-set=utf8

        log-error=/var/log/mysql/mysql.log

        pid-file=/var/run/mysql/mysql.pid

   4、初始化设置

        sudo mkdir -p /data/mysql

        sudo chown mysql:mysql /data/mysql

        sudo mkdir -p /var/lib/mysql

        sudo chown mysql:mysql /var/lib/mysql

        sudo mkdir -p /var/log/mysql

        sudo chown mysql:mysql /var/log/mysql

        sudo mkdir -p /var/run/mysql

        sudo chown mysql:mysql /var/run/mysql

        sudo mysql_install_db

        sudo service mysql start

        sudo /usr/bin/mysql_secure_installation

        Set root password? [Y/n]Y

        输入两次密码

        New password: 

        Re-enter new password: 

        Remove anonymous users? [Y/n]Y

        Disallow root login remotely? [Y/n]n

        Remove test database and access to it? [Y/n]Y

        Reload privilege tables now? [Y/n]Y

    5、可能问题

        执行

            sudo /usr/bin/mysql_secure_installation

        报错

            Enter current password for root (enter for none): 

            ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock‘ (2)

        这是由于

            /var/lib/mysql/mysql.sock

        在该命令文件里写死了,可以手工设置

            mysql -uroot

            mysql> set password=PASSWORD("Jusfoun@2016$");

            mysql> flush privileges;

五、Ambari安装部署(在ambari-server服务器上部署)

    1、安装ambari-server

        sudo yum search ambari-server

        sudo yum install ambari-server 

    2 配置java发布源(默认网上下载地址)

        sudo vim /etc/ambari-server/conf/ambari.properties

        jdk1.8.url=http://192.168.234.145/java/jdk-8u60-linux-x64.tar.gz

        jdk1.8.jcpol-url=http://192.168.234.145/java/jce_policy-8.zip

    3、配置ambari-server

        sudo ambari-server setup

        Customize user account for ambari-server daemon [y/n] (n)?y

        Enter user account for ambari-server daemon (root):ambari

        Checking JDK...

       [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

       [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

       [3] Custom JDK

       ==============================================================================

       Enter choice (1):1

       Do you accept the Oracle Binary Code License Agreement [y/n] (y)? y

       Enter advanced database configuration [y/n] (n)?y

       ==============================================================================

       Choose one of the following options:

       [1] - PostgreSQL (Embedded)

       [2] - Oracle

       [3] - MySQL

       [4] - PostgreSQL

       [5] - Microsoft SQL Server (Tech Preview)

       [6] - SQL Anywhere

       ==============================================================================

       Enter choice (1):3

       Hostname (localhost): cent00

       Port (3306): 3306

       Database name (ambari): ambari

       Username (ambari): ambari

       Enter Database Password (bigdata): 

       Re-enter password:

       WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java.

       新开窗口,单独执行:

           sudo mkdir -p /usr/share/java

           cd /usr/share/java

           sudo rz -y

           添加mysql-connector-java-5.1.35-bin.jar

       返回点击Enter继续

       WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

       新开窗口,执行

           mysql -uroot -p123456

           mysql>create database ambari;

           mysql>grant all privileges on ambari.* to ambari@cent00 identified by ‘123456‘;

           mysql>flush privileges;

           mysql>use ambari;

           mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

       返回原窗口

       Proceed with configuring remote database connection properties [y/n] (y)? y

        若返回

            Ambari Server ‘setup‘ completed successfully.

        安装成功

        添加MySQ连接器jdbc

            cd /usr/lib/ambari-server

        上传jarmysql-connector-java-5.1.35-bin.jar 

    4、启动ambari-server

        sudo service ambari-server start

        返回

            Ambari Server ‘start‘ completed successfully.

        启动成功

    5、修改ambari-server访问端口

        在部署server的服务器上执行:

            sudo vim /etc/ambari-server/conf/ambari.properties 

        在文件末尾添加

            client.api.port=端口号

        保存,重启生效。   

六、配置部分

    <Ubuntu版本不再有什么区别,不再赘述>

 

2、ambari搭建HDP集群

标签:mbed   page   mit   str   5.x   ppi   默认   socket   端口号   

原文地址:http://www.cnblogs.com/netbloomy/p/6690099.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!