码迷,mamicode.com
首页 > 其他好文 > 详细

day11_CDH

时间:2016-05-07 07:42:19      阅读:256      评论:0      收藏:0      [点我收藏+]

标签:

1    ping www.baidu.com
2    修改hosts文件
3    关闭防火墙
4    互相免密登录,注意自己对自己的免密
    ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    
    scp ~/.ssh/id_dsa.pub root@cdh2:/home
    scp ~/.ssh/id_dsa.pub root@cdh3:/home
    
    cat /home/id_dsa.pub >> ~/.ssh/authorized_keys
    ssh cdh2
    
5   SELINUX关闭
    getenforce  查看
    setenforce 0  临时关闭
    vi /etc/selinux/config (SELINUX=disabled) 永久

6   安装JDK配置环境变量
    rpm -ivh jdk-7u67-linux-x64.rpm
    vi /etc/profile
    
    export JAVA_HOME=/usr/java/jdk1.7.0_67
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    
    source /etc/profile
    java -version
    
7    安装NTP yum install ntp
    设置NTP开机启动 chkconfig ntpd on
    设置时间同步(配一个时间服务器)
    ntpdate -u ntp.sjtu.edu.cn
    date
    
8    安装配置mysql (第一个主机)
    yum install mysql-server
    service mysqld start
    chkconfig mysqld on
    chkconfig --list mysqld
    mysql  show databases; use mysql; show tables;
    设置mysql root用户登录权限 :root用户允许所有ip登录
    GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘123‘ WITH GRANT OPTION;
    select host,user from user;
    delete from user where host != ‘%‘;
    flush privileges; 刷新权限
    quit;
    mysql -u root -p
    
9    安装第三方依赖包  (3台都要安装)
    yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y
    
ClouderaManager 安装    

1、安装Cloudera Manager Server、Agent  解压安装包
    mkdir /opt/cloudera-manager 3个都要
    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager  server和agent都是这个脚本
    
2、创建CM管理员账户 cloudera-scm   3个都要
    useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
    查看 用户是否生成  cat /etc/passwd
    
3、在Agent上修改Agent配置文件  指定它的server的主机名以及端口,3台Agent都要配
    修改文件vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host以及server_port
    
4、配置Server的数据库 先看/usr/share下有没有,没有则创建
    拷贝mysql的jar时,要拷贝到目录/usr/share/java/下
    cp /home/mysoft/mysql-connector-java-5.1.26-bin.jar /usr/share/java
    mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar
    注意jar包名称要修改为mysql-connector-java.jar(CM是根据名称的匹配来找jar包)
    
    在mysql里面给它创建一个临时的账户并授权,供我们CM建库的时候使用
    grant all on *.* to ‘temp‘@‘%‘ identified by ‘temp‘ with grant option;(参考,本文件夹下的另一个mysql文档,即创建用户又分配了权限)
    flush privileges; 刷新权限
    
    cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/ 进到这个目录下,有一个脚本
    ./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm // 根据之前的脚本来创建数据库
                    格式:数据库类型、数据库用户、数据库服务器、用户名、密码、server服务器  后面3个是固定写法

5、创建Parcel目录
    Server节点
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo  修改为上面创建的那个CM账户的权限
    Agent节点
    –mkdir -p /opt/cloudera/parcels
    –chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 服务器会将安装包分发都各个机器的parcels文件夹
    
6、制作CDH本地源 (就是本机集成了 一大堆 服务安装包)
    下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,
    将这两个文件放到server节点的/opt/cloudera/parcel-repo下。注意 parcel-repo这个目录是我们cdh在集群时会默认检查的一个目录
    cp /home/mysoft/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parce* /opt/cloudera/parcel-repo
    cp /home/mysoft/manifest.json /opt/cloudera/parcel-repo
    打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,将hash码复制到文件中保存。
    
7、启动CM Server、Agent  启动之前快照
    cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
    ./cloudera-scm-server start 启动时会特别慢 ,这步千万不要终止
    输完命令后会提示 ok ,但实际并未完成,只是命令执行ok
    看是否启动,要看日志
    Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装
    ./cloudera-scm-agent start
    若没有看见有3台主机,要看agent是否已经启动 ./cloudera-scm-agent status
    
8    关闭
    web端停两个
    命令端停两个 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d
    ./cloudera-scm-agent stop(先关,3台)
    
    ./cloudera-scm-server stop

day11_CDH

标签:

原文地址:http://blog.csdn.net/scandly_java/article/details/51332009

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!