RedHat 6.5+11G+RAC+ASM安装与配置(三节点)

标签：oracle   asm   rac   

一、安装环境

1、实验环境

虚拟机：VMware Workstation 8.0.3_64bit

ORACLE：Oracle Database11g11.2.0.3.0-64bit

操作系统：Red HatEnterprise Linux  6.5

2、节点配置

以上环境配置过程略，可通过VM的Clone多台机器之后变更IP和主机即可。

二、系统基本配置

1、搭建存储服务器

A、添加磁盤創建軟件RAID5

創建軟件RAID5，共5塊盤，無熱備，具體用法請查閱資料

[root@iscsi-asm ~] #mdadm –Cv /dev/md0 –l5 –n3/dev/sd[bcd]1

B、配置ISCSI磁盘

安裝服務器端使用的scsi-target-utils包，安裝前先確認以下安裝包已安裝：kernel-source、kernel、

gcc、perl

[root@iscsi-asm ~] # rpm –ivh scsi-target-utils*.rpm
                                                 // RedHat 6在光盘Packages目录下
                         // RedHat 5在光盘ClusterStorage目录下
配置服務端/etc/tgt/targets.conf文件
[root@iscsi-asm ~] # cat >>/etc/tgt/targets.conf << EOF
> <targetiqn.2016-04.com.iscsi-asm.raid5:target1>
>   backing-store  /dev/md0
> </target>
> EOF
启动ISCSI服务
[root@iscsi-asm~] # service tgtd restart             //重启iscsi服务
[root@iscsi-asm~] # chkconfig --level 2345 tgtd on       //设置开机自启动
[root@iscsi-asm~] # chkconfig --list tgtd            //查看自启动项
[root@iscsi-asm~] # tgt-admin --show target1          //查看tgtd是否配置成功
 
2、挂载ISCSI磁盘
A、节点一note1 上：
[root@note1~] # rpm –ivh iscsi-initiator-utils*.rpm
[root@note1~] # service iscsid restart             //重启iscsi服务
[root@note1~] # chkconfig --level 2345 iscsid on       //设置开机自启动
[root@note1~] # chkconfig --list iscsid           //查看自启动项
[root@note1~] # iscsiadm –m node –p 172.16.1.20 –l     //登录iscsi存储
B、节点二note2 上：
[root@note2~] # rpm –ivh iscsi-initiator-utils*.rpm
[root@note2~] # service iscsid restart            //重启iscsi服务
[root@note2~] # chkconfig --level 2345 iscsid on       //设置开机自启动
[root@note2~] # chkconfig --list iscsid           //查看自启动项
[root@note2~] # iscsiadm –m node –p 172.16.1.20 –l     //登录iscsi存储
C、节点三note3 上：
[root@note3~] # rpm –ivh iscsi-initiator-utils*.rpm
[root@note3~] # service iscsid restart            //重启iscsi服务
[root@note3~] # chkconfig --level 2345 iscsid on       //设置开机自启动
[root@note3~] # chkconfig --list iscsid           //查看自启动项
[root@note3~] # iscsiadm –m node –p 172.16.1.20 –l   //登录iscsi存储
D、划分ISCSI磁盘
[root@note1 ~] # fdisk /dev/sdb            //挂载iscsi存储后的磁盘，请勿格式化
在三个节点上执行
[root@note1 ~] # partprobe                   //加载磁盘分区
[root@note2 ~] # partprobe                   //加载磁盘分区
[root@note3 ~] # partprobe                   //加载磁盘分区

2、UDEV配置ASM

A、ASM磁盘的规划

B、配置UDEV
[root@note1 ~] #scsi_id –g –u –d /dev/sdb       //获取磁盘UUID
1IET_00010001
[root@note1 ~] #vim /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL==”sdb1“, BUS==”scsi”,PROGRAM==”/sbin/scsi_id -g -u -d /dev/$parent”, RESULT==”
 1IET_00010001”,NAME=”asm-crs″, OWNER=”grid”, GROUP=”asmadmin”, MODE=”0660″
KERNEL==”sdb2“, BUS==”scsi”,PROGRAM==”/sbin/scsi_id -g -u -d /dev/$parent”, RESULT==” 
1IET_00010001”,NAME=”asm-db1”, OWNER=”grid”, GROUP=”asmadmin”, MODE=”0660″
KERNEL==”sd?1″,BUS==”scsi”, PROGRAM==”/sbin/scsi_id -g -u -d /dev/$parent”, RESULT==”
1IET_00010001”,NAME=”asm-db2″, OWNER=”grid”, GROUP=”asmadmin”, MODE=”0660″
 
将UDEV配置文件传到其他节点
[root@note1 ~] # rsync –r /etc/udev/rules.d/99-oracle-asmdevices.rules173.16.1.8: /etc/udev/rules.d/
[root@note1 ~] # rsync –r /etc/udev/rules.d/99-oracle-asmdevices.rules173.16.1.9: /etc/udev/rules.d/
 
C、启动UDEV
[root@note1 ~] #start_udev
[root@note2 ~] #start_udev
[root@note3 ~] #start_udev

配置ORACLE軟件安裝环境
1、安裝oracleRAC所需的linux軟件包
[root@note1 ~] #yum –y install binutils* compat-libstdc++* elfutils-libelf*elfutils-libelf-devel* 
elfutils-libelf-devel-static* gcc* gcc-c++* glibc*glibc-common* glibc-devel* glibc-headers* ksh* libaio* 
libaio-devel* libgcc*libgomp* libstdc++* libstdc++-devel* make* sysstat* unixODBC * unixODBC-devel*
节点二和节点三上执行相同的命令，将所需的包安装上。
 
2、配置集群时间同步服务
这里使用集群时间同步服务（CTSS），需要卸载网络时间协议（NTP）
[root@note1~] #service ntpd stop
[root@note1~] #chkconfig –level 2345 ntpd off
[root@note1~] #rm –rf /etc/ntp.conf
节点二和节点三上执行相同的命令，卸载NTP
在集群安装完后，要确认ctssd是否处于活动状态
[grid@note1~] #crsctl check ctss
 
1、配置内核参数
三个节点执行如下脚本：
#!/bin/bash
prepareSystem(){
#Set SElinux to disabled mode regardless of its initial value
  sed -i -e ‘s/^SELINUX=.*/SELINUX=disabled/‘/etc/selinux/config
  setenforce 0
#stop iptables
  /etc/init.d/iptables stop
  chkconfig --level 0123456 iptables off
  chkconfig --level 0123456 ip6tables off
}
 
Configure1(){
    cat >> /etc/sysctl.conf <<EOF
fs.aio-max-nr= 1048576
fs.file-max= 6815744
kernel.shmmni= 4096
kernel.sem= 250 32000 100 128
net.ipv4.ip_local_port_range= 9000 65500
net.core.rmem_default= 262144
net.core.rmem_max= 4194304
net.core.wmem_default= 262144
net.core.wmem_max= 1048576
EOF
}
Configure2(){
    cat >> /etc/security/limits.conf<<EOF
oracle   soft nproc   2047
oracle   hard nproc   16384
oracle   soft nofile  1024
oracle   hard nofile  65536
grid   soft nproc   2047
grid   hard nproc   16384
grid   soft nofile  1024
grid   hard nofile  65536
EOF
}
Configure3(){
    cat >> /etc/pam.d/login <<EOF
session    required    pam_limits.so
EOF
}
 
prepareSystem
Configure1&& sysctl -p
Configure2
Configure3
 
[root@note1~] # sh configure.sh
[root@note2~] # sh configure.sh
[root@note3~] # sh configure.sh
 
2、创建RAC相关权限组，用户和目录
A、创建相关组（三个节点上执行）
[root@note1 ~] # groupaddoinstall
[root@note1 ~] # groupaddasmadmin
[root@note1 ~] # groupaddasmdba
[root@note1 ~] # groupaddasmoper
[root@note1 ~] # groupadddba
[root@note1 ~] # groupaddoper
 
B、创建grid用户：
节点一ORACLE_SID=+ASM1
[root@note1~] # useradd -g oinstall -G asmadmin,asmdba,asmoper grid
[root@note1~] # passwd grid
节点二ORACLE_SID=+ASM2
[root@note2~] # useradd -g oinstall -G asmadmin,asmdba,asmoper grid
[root@note2~] # passwd grid
节点三ORACLE_SID=+ASM3
[root@note3~] # useradd -g oinstall -G asmadmin,asmdba,asmoper grid
[root@note3~] # passwd grid
编辑grid用户的环境配置文件（~/.bash_profile）,加入如下内容
exportPS1="`/bin/hostname -s`-> "
exportTMP=/tmp
exportTMPDIR=$TMP
exportORACLE_SID=+ASM1   #节点二为+ASM2，节点三为+ASM3
exportORACLE_BASE=/u/app/grid
exportORACLE_HOME=/u/app/11.2.0/grid
exportORACLE_TERM=xterm
exportNLS_DATE_FORMAT=‘yyyy/mm/dd hh24:mi:ss‘
exportTNS_ADMIN=$ORACLE_HOME/network/admin
exportPATH=/usr/sbin:$PATH
exportPATH=$ORACLE_HOME/bin:$PATH
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
exportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
umask022
 
C、创建ORACLE用户
节点一：ORACLE_SID=racdb1
[root@note1~] # usermodd -g oinstall -G dba,oper,asmdba oracle
[root@note1~] # passwd oracle
节点二：ORACLE_SID=racdb2
[root@note2~] # usermodd -g oinstall -G dba,oper,asmdba oracle
[root@note2~] # passwd oracle
节点三：ORACLE_SID=racdb3
[root@note3~] # usermodd –g oinstall -G dba,oper,asmdba oracle
[root@note3~] # passwd oracle
编辑oracle用户的环境配置文件（~/.bash_profile）,加入如下内容
exportTMP=/tmp
exportTMPDIR=$TMP
exportORACLE_SID=racdb1  #节点二为racdb2，节点三为racdb3
exportORACLE_BASE=/u/app/oracle
exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
exportORACLE_UNQNAME=racdb
exportTNS_ADMIN=$ORACLE_HOME/network/admin
exportORACLE_TERM=xterm
exportPATH=/usr/sbin:$PATH
exportPATH=$ORACLE_HOME/bin:$PATH
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:$ORACLE_HOME/jdbc/lib
exportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
exportNLS_DATE_FORMAT=‘yyyy/mm/dd hh24:mi:ss‘
umask022
 
5、创建软件安装目录
在三个节点上执行以下命令：
[root@note1 ~] # mkdir -p/u/app/grid
[root@note1 ~] # mkdir -p/u/app/11.2.0/grid
[root@note1 ~] # chown -Rgrid:oinstall /u/app
[root@note1 ~] # mkdir -p/u/app/oracle
[root@note1 ~] # chown oracle:oinstall/u/app/oracle
[root@note1 ~] # chmod -R775 /u
 
安装RAC集群软件
1、安装cvuqdisk包
Cvuqdiskrpm包在grid的rpm目录中
三个节点上执行：
[root@note1~] # CVUQDISK_GRP=oinstall; export CVUQDISK_GRP
[root@note1~] # rpm -ivh cvuqdisk-1.0.9-1.rpm
[root@note2~] # CVUQDISK_GRP=oinstall; export CVUQDISK_GRP
[root@note2~] # rpm -ivh cvuqdisk-1.0.9-1.rpm
[root@note3~] # CVUQDISK_GRP=oinstall; export CVUQDISK_GRP
[root@note3~] # rpm -ivh cvuqdisk-1.0.9-1.rpm
 
2、安装Grid软件
许多文档都在安装之前配置了各节点之间oracle和grid用户的SSH信任关系，这里使用软件配置选项进行配置。
其实就是使用了grid软件包中sshsetup目录下的sshUserSetup.sh脚本。
[root@note1~]#export display=0.0
[root@note1~]#xhost +
[root@note1~]#su - grid
[grid@note1 grid]#./runInstaller

本文出自 “语默” 博客，转载请与作者联系！

RedHat 6.5+11G+RAC+ASM安装与配置(三节点)

标签：oracle   asm   rac   

原文地址：http://wyzwl.blog.51cto.com/8932072/1767050