标签：lnmmp
实验平台：RHEL5.8 RHEL6.4
实验环境：node1 -- node9的内网IP分别对应10.32.9.51 -- 10.32.9.59 24位掩码
node6 node7对应一个虚拟外网IP 100.100.100.1/32
实现功能：
1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层协议为web服务器提供共享存储。
2、node1 node2 node3 提供wordpress个人博客服务
3、memcached缓存php应用程序查询mysql的查询结果
4、利用keepalved实现前端nginx反向代理的高可用性
实验步骤：
一、软件安装
编译安装nginx-1.4.7
./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --with-file-aio make && make install
为nginx提供启动脚本，并添加运行nginx时用户nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse # proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed ‘s/[^*]*--user=\([^ ]*\).*/\1/g‘ -`
options=`$nginx -V 2>&1 | grep ‘configure arguments:‘`
for opt in $options; do
if [ `echo $opt | grep ‘.*-temp-path‘` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop) rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esacyum方式安装keepalived.x86_64 0:1.2.7-3.el6
yum方式安装memcached.x86_64 0:1.4.4-3.el6
yum方式安装scsi-target-utils.x86_64
yum方式安装gfs2-utils
yum方式安装lvm2-cluster.x86_64
yum方式安装cman-2.0.115-96.el5.x86_64.rpm
通用二进制安装mysql5.5
1、创建mysql用户mysql组,安装目录/usr/local/mysql
2、创建数据目录/mydata/data 并设置数据目录的属主、属组为mysql
3、mysql目录的属组设置为root 属组设置为mysql
4、cp support-files/mysql.server /etc/init.d/mysqld 复制启动脚本
5、cp support-files/my-large.cnf /etc/my.cnf 复制配置文件
6、修改配置文件
datadir=/mydata/data
innodb_file_per_table = ON
log-bin=mysql-binlog 二进制日志存放目录，这里直接存放在数据目录中，生产环境建议分离存放
7、初始化数据库
./scripts/mysql_install_db --user=mysql --datadir=/mydata/data
8、service mysqld start 启动数据库
9、输出库文件及头文件及man page文件
库文件输出vi /etc/ld.so.conf.d/mysql 添加/usr/local/mysql/lib
头文件输出ln -s /usr/local/mysql/include/ /usr/include/mysql
man page文件输出 MANPATH /usr/local/mysql/man
编译安装php-5.4.19.tar.bz2
1、编译安装PHP
./configure --prefix=/usr/local/php --with-mysql=mysqlnd --with-openssl --with-mysqli=mysqlnd --enable-mbstring --with-freetype-dir --with-gpg-dir --with-png-dir --with-zlib --with-libxml-dir=/usr --enable-sockets --enable-fpm --with-mycrypt --with-config-file-path=/etc --with-config-file-scan-dir=/etc/php.d --with-bz2 --enable-maintainer-zts
make && make install
备注--enable-fpm使php工作在php-fpm模式下
2、配置PHP
2.1为其提供服务脚本,源码包里cp /sapi/fpm/init.d.php-fpm到相应目录
2.2cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf
为php-fpm提供配置文件并修改监听地址及启动开启的进程数、最小空闲进程、最大空闲进程
2.3复制源码包下的php.ini-production到/etc/php.ini即可成为php配置文件
3、编译安装xcache
3.1xcache源代码目录下执行/usr/local/php/bin/phpize
3.2 ./configure --enable-xcache --with-php-config=/usr/local/php/bin/php-config
3.3 make && make install
二、实现功能
1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层协议为web服务器提供共享存储。
node9 提供ISCSI共享存储
编辑/etc/tgt/targets.conf 添加如下
<target iqn.2014-07.org.kernel:rack11.target1> ---- iqn名字 backing-store /dev/sdb> ---- 共享设备名 vendor_id back1 lun 3 ---- lun id </backing-store> incominguser store redhat ---访问iscsi服务器的用户账户级密码 </target>
service tgtd start 启动iscsi服务
node1
编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn
InitiatorName=iqn.2014-07.org.kernel:client51
编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码
node.session.auth.authmethod = CHAP
node.session.auth.username = store
node.session.auth.password = redhat
service iscsi restart 重启iscsi服务
iscsiadm -m discovery -t st -p 10.32.9.59:3260 发现服务端通过iscsi协议共享的设备
iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘
因为基于ipsan使用共享存储，共享存储要解决同时读写的问题，就需要使用集群文件系统gfs2来实现分布式锁管理DLM,而gfs2的分布式锁管理器依赖于gfs_control dlm_control,在RHEL5中安装cman既可以自行管理，通过集群底层message layer 既cman来同步各个节点的DLM。CLVM是基于GFS2之上的集群逻辑卷
node1 node2需要能够互相解析对方主机名，因此可以编辑hosts文件后，同步双方hosts文件
ccs_tool create mycluster 创建集群，集群名字为mycluster
ccs_tool addfence metaware fence_manual 添加一个fence设备为肉键
ccs_tool addnode -n 1 -v 1 -f metaware node1.kernel.org 添加集群节点，-n为id，-v为该节点用于的票数，-f指定fence设备 node1.kernel.org为节点主机名
ccs_tool addnode -n 2 -v 1 -f metaware node2.kernel.org
而后同步 /etc/cluster/cluster.conf 至node2相同位置，双方均启动cman服务即完成了集群底层的配置，只是这个集群没有资源，而我们要用到的仅是集群的底层传输功能，启动服务后可以使用ccs_tool lsnode命令行查看集群节点
启用集群逻辑卷功能，并启动clvm服务
lvmconf --enable-cluster
service clvmd start
而后既可以创建逻辑卷
pvcreate /dev/sdb
vgcreate vg10 /dev/sdb
lvcreate -L 50G -n webstore vg10
使用集群文件系统进行格式化并挂载后既可以使用
mkfs.gfs2 -j 2 -p lock_dlm -t mycluster:node1 /dev/mapper/vg10-webstore
-j 指定日志数，这里每个集群节点需要占一个日志
-p 指定协议，这里要使用分布式锁协议
-t 指定锁名字，格式为 集群名:节点锁名
node2
编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn
InitiatorName=iqn.2014-07.org.kernel:client52
编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码
node.session.auth.authmethod = CHAP
node.session.auth.username = store
node.session.auth.password = redhat
service iscsi restart 重启iscsi服务
iscsiadm -m discovery -t st -p 10.32.9.59:3260 发现服务端通过iscsi协议共享的设备
iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘
启用集群逻辑卷功能
lvmconf --enable-cluster
service clvmd start
而后既可以看到由node1创建的集群逻辑卷，可以直接挂载使用
2、node1 node2 node3 提供wordpress个人博客服务
编辑nginx.conf，定义如下配置
http {
include mime.types;
default_type application/octet-stream;
sendfile on; sendfile功能的开启
keepalive_timeout 65; 持久连接超时时长
gzip on; 开启gzip压缩功能
server { 定义一个虚拟主机
listen 80; 监听在80端口
server_name node1.kernel.org; 主机名
charset utf8; 字符集
location / { 定义一个目录
root /opt; 指定该location的根目录
index index.html index.htm index.php; 默认页面文件(index.php一定要加)
}
location ~ \.php$ { 匹配.php结尾的URI转发至127.0.0.1:9000
root /opt;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
include fastcgi_params;
}
}
}编辑/etc/nginx/fastcgi_params，将其内容更改为如下内容：
fastcgi_param GATEWAY_INTERFACE CGI/1.1; fastcgi_param SERVER_SOFTWARE nginx; fastcgi_param QUERY_STRING $query_string; fastcgi_param REQUEST_METHOD $request_method; fastcgi_param CONTENT_TYPE $content_type; fastcgi_param CONTENT_LENGTH $content_length; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; fastcgi_param SCRIPT_NAME $fastcgi_script_name; fastcgi_param REQUEST_URI $request_uri; fastcgi_param DOCUMENT_URI $document_uri; fastcgi_param DOCUMENT_ROOT $document_root; fastcgi_param SERVER_PROTOCOL $server_protocol; fastcgi_param REMOTE_ADDR $remote_addr; fastcgi_param REMOTE_PORT $remote_port; fastcgi_param SERVER_ADDR $server_addr; fastcgi_param SERVER_PORT $server_port; fastcgi_param SERVER_NAME $server_name;
（$都是nginx的变量 而SERVER_NAME都是php-fpm的变量，nginx把相关的变量直接传递给php）
node3上创建一个支持远程连接的mysql账号
mysql> grant all on *.* to wordpress@"10.32.9.%" identified by "redhat";
mysql> flush privileges;
接下来安装wordpress，按照网站提示步骤输入即可建立wordpress个人博客站点
（复制wp-config-sample.php wp-config.php作为配置文件并输入相关信息如数据库）
（后期实验需要这里同步node1 node2 nginx的配置文件）
3、memcached缓存php应用程序查询mysql的查询结果
为php安装memcached扩展
php与在访问时主动查询缓存，如果缓存没有则查询数据库，然后缓存到缓存，这种机制是通过php的模块memcache来实现的，这里编译安装php的这个子模块
# tar xf memcache-2.2.5.tgz （php官方查找）
# cd memcache-2.2.5
/usr/local/php/bin/phpize
# ./configure --with-php-config=/usr/local/php/bin/php-config --enable-memcache
# make && make install
上述安装完后会有类似以下的提示：
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/
②编辑php.ini在“动态模块Directory in which the loadable extensions (modules) reside.”相关的位置添加如下一行来载入memcache扩展：
extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/memcache.so
提供测试php脚本
<?php
$mem = new Memcache;
$mem->connect("10.32.9.58", 11211) or die("Could not connect"); --------- 该测试就是连接的memcache缓存服务器,如果连接成功则返回memcached版本以及存储及查询键等
$version = $mem->getVersion();
echo "Server‘s version: ".$version."<br/>\n";
$mem->set(‘hellokey‘, ‘Hello World‘, 0, 600) or die("Failed to save data at the memcached server");
echo "Store data in the cache (data will expire in 600 seconds)<br/>\n";
$get_result = $mem->get(‘hellokey‘);
echo "$get_result is from memcached server.";
?>
可以在任意节点安装memadmin监控memcache各项参数，如
4、利用keepalved实现前端nginx反向代理的高可用性
为node6提供keepalived的配置文件
vrrp_script chk_nginx { -----定义vrrp trace的脚本，keepalived丰富特性1就在于此，注意该脚本需要在配置文件之前，只有先定义了后面才能调用
script "/sbin/pidof nginx" ---script 后可以是脚本也可以是命令，这里检测nginx pid文件是否存在
interval 2 ---- 检测间隔为2s
weight -20 ----如果script返回的1的命令状态，那么优先级-20
fall 2 ---- 检测2次都返回1的错误命令状态才算失败
rise 1 ---- 检测1次返回0的正确命令状态则就算成功
}
vrrp_instance VI_1 { ----定义vrrp实例
state MASTER ----初始状态为”主“
interface eth1 ----通过eth1端口发送vrrp协议报文
virtual_router_id 51 ---这里为vrrp组ID
priority 100 ----优先级为100，
advert_int 1 ----每秒发送1次vrrp通告
authentication {
auth_type root -- 认证账户
auth_pass redhat --- 认证密码
}
virtual_ipaddress {
100.100.100.1/30 label eth1:1 --- 虚拟VIP的地址掩码及别名
}
track_script { --- 追踪的脚本，这里调用上面定义的vrrp_scrpit
chk_nginx
}
notify_backup "/etc/keepalived/restart.sh" ---- 切换为从节点状态所执行的脚本，这里是keepalived的丰富特性2定义，可以在脚本里做邮件通知，服务重启，等等等任何想做的事。这里restart.sh由于为nginx提供高可用，因此定义当主节点成为备用节点时重新启动nginx服务，与vrrp_scrpit检测nginx服务状态相互对应
}
注意keepalived默认是工作在抢占模式，如果需要不抢占则在实例中定义nopreempt为node7提供keepalived的配置文件
vrrp_instance VI_1 {
state SLAVE ----初始状态为从节点
interface eth1
virtual_router_id 51
priority 90 ----优先级别小于主节点
advert_int 1
authentication {
auth_type root
auth_pass redhat
}
virtual_ipaddress {
100.100.100.1/30 label eth1:1
}
notify_master "/etc/keepalived/check.sh"
}备用节点由于只是备用，且为nginx提供高可用，因此需要在切换到主节点时，确保nginx服务处于运行状态,check.sh简单脚本既实现检测服务状态，如果没有启动nginx服务则启动之。
验证主节点 node6
验证从节点node7(停止nginx服务；且尚未成为主节点既没有vip；主节点关闭接口时ifconfig发现vip已经过来既成为了主节点，此时触发了脚本检测nginx服务未运行则重新启动该服务)
未完待续..........
标签：lnmmp
原文地址：http://18960780653.blog.51cto.com/8846859/1441112
