目 录
1.3.2 man mount后的-o参数中英文翻译对比... 3
[root@web01 ~]# mount -t nfs 172.16.1.31:/data//mnt
[root@web01 ~]# cat /proc/mounts
rootfs / rootfs rw 0 0
proc /proc proc rw,relatime 0 0
sysfs /sys sysfs rw,relatime 0 0
devtmpfs /dev devtmpfsrw,relatime,size=487092k,nr_inodes=121773,mode=755 0 0
devpts /dev/pts devptsrw,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /dev/shm tmpfs rw,relatime 0 0
/dev/sda3 / ext4 rw,relatime,barrier=1,data=ordered0 0
/proc/bus/usb /proc/bus/usb usbfs rw,relatime 0 0
/dev/sda1 /boot ext4 rw,relatime,barrier=1,data=ordered0 0
none /proc/sys/fs/binfmt_misc binfmt_miscrw,relatime 0 0
sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefsrw,relatime 0 0
172.16.1.31:/data/ /mnt nfs4rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=172.16.1.8,minorversion=0,local_lock=none,addr=172.16.1.310 0
[root@backup ~]# df -T
Filesystem Type 1K-blocks Used Available Use% Mounted on
/dev/sda3 ext4 9213440 1518344 7220424 18% /
tmpfs tmpfs 502384 0 502384 0% /dev/shm
/dev/sda1 ext4 194241 35999 148002 20% /boot
172.16.1.31:/data/ nfs 9213440 1517568 7221248 18% /mnt
参数 | 参数功能 | 默认参数 |
fg bg | 当在客户端执行挂载时,可选择是前台(fg)还是后台(bg)执行。若在前台执行,则mount会持续尝试挂载,直到成功或挂载时间超时为止,若在后台执行,则mount会在后天执行多次进行mount,而不会影响前台的其他程序操作。如果网络联机不稳定,或是服务器常常需要开关机,建议使用bg比较妥当。 | fg |
soft hard | 当NFS Client 以soft挂载server时,若网络或server出现问题,造成client和server无法传输资料,client就会一直尝试,知道timeout后显示错误才停止。若使用soft mount 的话,可能会在timeout出现时造成资料丢失,故一般不建议使用。 若用hart模式挂载硬盘时,刚好和soft相反,此时client会一直尝试连接到server,若server有回应就继续刚才的动作,若没有回应NFS client 会一直尝试,此时无法umount或kill,所以常常会配合intr使用,这是默认值。 | Hard |
intr | 当使用hard瓜子啊的资源timeout后明若有指定intr参数,可以在timeout后把它中断掉,这避免出现问题时系统整个被NFS锁死,建议使用intr | |
rsize | 读出(rsize)与写入(wsize)的区块的大小(block size0,这个设置可以影响客户端与服务端传输数据的缓冲存储量,一般来说,如果在局域网lan,并且客户端与服务器端都具有足够的内存,这个值设置大一点,比如65535(bytes),提升缓冲区块可提升NFS文件系统的传输能力。但设置的值不要太大,最好网络能够承受的最大的值为限。 | Centos5的rsize,wsize默认为1024 Centos6的rsize,wsize默认为132072 |
Proto=udp | 使用UDP协定来传输资料,在LAN中会有比较好的性能。若要跨越Internet的话,使用proto=tcp多传输的数据会有比较好的纠错能力 | proto=tcp |
可通过man nfs 查看上述参数信息,如果追求极致,可以用如下参数挂载:
mount -t nfs -ofg,hard,intr,rsize=131072,wsize=131072 172.16.1.31:/data/ /mnt
[root@backup mnt]# mount -t nfs -ofg,hard,intr,rsize=131072,wsize=131072 172.16.1.31:/data/ /mnt
[root@backup mnt]# grep nfs /proc/mounts
sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefsrw,relatime 0 0
172.16.1.31:/data/ /mnt nfs4rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=
但是如果考虑以简单、易用为原则,直接选择默认值就可以了
mount -t nfs 172.16.1.31:/data/ /mnt
参数 | 参数意义 | 系统默认值 |
Suid Nosuid | 当挂载的文件系统上有任何SUID的程序时,只要使用nosuid就能够取消默认设置SUID的功能 | Suid |
Rw Ro | 可以指定文件系统是只读ro或可写rw | rw |
Dev Nodev | 是否可以保留装置文件的特殊功能?一般来说只有/dev才会有特殊的装置,因此可以选择nodev | dev |
Exec | 是否具有执行文件的权限?如果想要挂载的仅是普通资源数据区(例如:图片、附件),那么可以选择noexec | exec |
User Nouser | 是否允许用户进行文件的挂载与卸载功能?如果要保护文件系统,最好不要提供用户进行挂载与卸载 | nouser |
下面mount命令的-o选项后面可以接的参数,注意,有些选项只有出现在/etc//fstab里才会有效,下面这些选项可以应用在绝大多数文件系统上,但是sync仅适合ext2、ext3、fat、vfat、ufs等文件系统。
async :涉及文件系统I/O的操作都是异步处理,即不会同步写到磁盘,此参数会提高性能,但会降低数据安全。一般情况,生产环境不推荐使用,除非对性能要求很高,对数据可靠性不要求的场合。
sync:该参数和async相反,有I/O操作时,都会同步处理I/O,即把数据同步写入硬盘,此参数会牺牲一点I/O性能,但是换来的是掉电后数据的安全性。
atime:在每一次数据访问时,会同步更新访问文件的inode时间戳,是默认选项,在高并发的情况下,建议通过明确加上noatime,来取消这个默认项,已达到提升I/O性能,优化I/O的目的。
ro:以只读的方式挂载一个文件系统。
rw:可以写的方式挂载一个文件系统。*
auto:能够被自动挂载通过-a选项。
noauto:不会自动挂载文件系统。
default:这是fstab里的默认值,包括rw、suid、dev、exec、auto、nouser、and async,默认情况大部分都是默认值。
exec:允许文件系统执行二进制文件,取消这个参数,可以提升系统安全
noexec:在挂载的文件系统中不允许直接执行任何二进制的程序,注意,仅对二进制程序有效,即使设置了noexec、shell、php程序还是可以执行的
noatime:访问文件时不更新文件的inode时间戳,高并发环境下,推荐显示应用该选项,可以选项,可以提高系统I/O性能。*
在企业工作场景,一般来说,NFS服务器共享的只有普通的静态数据(图片、附件、视频)不需要执行suid、exec等权限,挂载的这个文件系统只能作为数据存取之用,无法执行程序,对于客户端来讲增加了安全性,例如:很多木马篡改站点文件都是上传的程序到存储目录,然后执行的。
因此在挂载的时候,用下面的命令很有必要:
[root@backup mnt]# mount -t nfs-o nosuid,noexec,nodev,rw 172.16.1.31:/data/ /mnt
通过mount –o指定挂载参数和在/etc/fstab里指定挂载的效果一样的。
网络文件系统和本地的文件系统效果也是一样的。
下面介绍几个在企业上产环境下,NFS性能优挂载的例子。
1)禁止更新目录及文件时间戳挂载,命令如下:
mount -t nfs -o nosuid,noexec,nodev,rw172.16.1.31:/data/ /mnt
2)安全加优化的挂载方式如下:
Mount –t nfs –o nouid,noexec,nodev,noatime,intr,rsize=131072,wsize=131072172.16.1.31:/data /mnt
3)默认的挂载方式如下:
Mount –t nfs 172.16.1.31:/data /mnt
如果是本地文件系统,使用如下的命令
mount /dev/sdb1 /mnt –odefaults,async,noatime,data=writeback,barrier=0
本地文件系统挂载时,如果加nodiratime会报错。
以下是NFS网络文件系统优化的参数建议。
在centos6.6 x86_64默认的挂载参数性能还是不错的。
Mount –t nfs 172.16.1.31:/data /mnt
注意:非性能的参数越多,熟读可能会越慢。
下面是优化选项的说明。
/proc/sys/net/core/rmem_default:该文件指定了接收套接字缓冲大小的默认值(以字节为单位),默认设置:124928.
/proc/sys/net/core/rmem_max;该文件指定了接收套接字缓冲区大小的默认值(以字节为单位),默认设置:124928.
/proc/sys/net/core/wmen_default:该文件指定了发送套餐字缓冲区大小默认值(以字节为单位),默认设置:124928.
/proc/sys/net/core/wmen_max;该文件指定了发送套接字缓冲区大小的最大值(以字节为单位),默认设置:124928.
[root@nfs01 ~]# cat>>/etc/sysctl.conf<<EOF
> net.core.wmem_default = 8388608
> net.core.rmem_default = 8388608
> net.core.rmem_max = 16777216
> net.core.wmem_max = 16777216
> EOF
[root@nfs01 ~]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
硬件:sas/ssd硬盘,买多块,硬件raid5/raid10。网卡吞吐量要大,至少千兆(多块bond)。
NFS服务器端配置:/data10.0.0./24(rw,sync,all_squash,anounuid=65534,anongid=65534)
NFS 客户端挂载优化配置命令;
Mount –t nfs –onoauid,noexec,nodev,notime,nodiratime,rsize=131072,wsize=131072 10.0.0.7:/data/ /mnt 兼顾安全性能
对NFS服务的所有服务器内核优化时,执行如下命令:
[root@nfs01 ~]# cat>>/etc/sysctl.conf<<EOF
> net.core.wmem_default = 8388608
> net.core.rmem_default = 8388608
> net.core.rmem_max = 16777216
> net.core.wmem_max = 16777216
> EOF
执行sysctl –p 生效
如果卸载的时候提醒“umount: /mnt :device is busy”,需要退出挂载目录在进行卸载,如果是NFS Server 宕机了,则需要强制卸载,可执行umount –lf /mnt。
大型网站NFS网络文件系统的替代软件分布式文件系统Moosefs(mfs),GluseterFS,fastDFS.
NFS服务可以上不同的客户端挂载使用共同一个目录,也就是将其作为共享存储使用,这样可以保证不同节点客户的数据的一致性,在集群架构环境中进程会用到,如果是Windows和linux混合环境的集群系统,可以用samba来实现。
简单,容易上手,容易掌握。
NFS 文件系统内数据是在文件系统上的,即数据是能看见的。
部署快捷,维护简单方便,且可控,满足需求就是最好的。
可靠,从软件层面上看,数据可靠性高,经久耐用,数据在文件系统上的。
服务非常稳定。
存在单点故障,如果NFS Server 宕机了,所有客户端都不能访问共享目录。这个在后期的课程中会痛过负载均衡及高可用方案弥补。
在大数据高并发的场合,NFS效率、性能有限(2千万/日以下的网站不是瓶颈,除非网站架构设计太差)。
客户端认证是基于IP和主机名的,权限要根据ID识别,安全性一盘(用于内网则问题不大)。
NFS数据是明文的,NFS本身不对数据完整性作验证。
多台客户机挂载一个NFS服务时,连接管理维护系统麻烦(耦合度高),尤其NFS服务端出问题后,所有NFS客户端都处于挂掉状态(测试换件可使用autofs自动挂载解决,正式环境可修复NFS服务或强制卸载)。
涉及了同步(实时等待)和异步(解耦)的概念,NFS服务端和客户端相对来说就是耦合度有些高。网站程序也是一样,尽量不要耦合度太高,系统及程序结构师的重要职责就是为程序及架构解耦,让网站的扩展性更好。
exportfs –rv 命令相当于/etc/init.d/nfs reload, 该参数的命令用于使新加载的配置生效,除此之外,通过exportfs 命令,我们还可以管理当前的NFS共享的文件系统目录列表。
1)重新加载配置使修改生效,实现这个功能的命令为:exprotfs –rv,该命令相当于/etc/init.d/nfs reload.
2)管理当前NFS共享的问津系统目录列表。
下面的示例将不通过/etc/exports文件,而是通过exportfs命令来共享NFS存储目录,具体命令如下:
Exportfs –o rw ,sync 10.0.0.7:/data
Showmount –e localhost
/mnt 10.0.0.7
/data 10.0.0.0/24 #《==这就是上诉exportfs命令共享/data目录的结果
修改yum源并下载
wget -O /etc/yum.repos.d/epel.repohttp://mirrors.aliyun.com/repo/epel-6.repo
yum –yinstall inotify-tools
查看包组
[root@oldgirl ~]# rpm -qa inotify-tools
inotify-tools-3.14-1.el6.x86_64
[root@oldgirl ~]# inotifywait -mrq --format"%w%f" -e create /data
/data/oldboy
[root@oldgirl ~]# inotifywait -mrq --timefmt‘%d%m%y %F:%H:%M:%S‘ --format ‘%T %w%f‘ -e create /data/
050516 2016-05-05:19:37:34 /data/12
[root@nfs01 scripts]# cat inotify1.sh
#!/bin/bash
Path=/backup
Ip=172.16.1.41
/usr/bin/inotifywait -mrq --format ‘%w%f‘ -e close_write,delete $Path \
|while read file
do
if [ -f $file ];then
rsync -az$file --delete rsync_backup@$Ip::nfsbackup --password-file=/etc/rsync.password
else
cd $Path&&\
rsync -az./ --delete rsync_backup@$Ip::nfsbackup --password-file=/etc/rsync.password
fi
done
1)监控文件系统时间变化,通过同步工具实现实时数据同步
1)并发如果大于200 个文件(10-100K),同步就会有延迟。
2)每一次都是全部推送一次,但确实是增量的也可以只有同步的辩护,不变化的不理
3)监控到时间后,调用rsync同步时单进程的(加&并发),sersync多进程同步
1)支持配置文件管理
2)真正的守护进程socket
3)可以对失败的文件定时重传(定时任务功能)。
4)第三方的HTTP接口(例如更新cdn缓存)。
5)默认多线程rsync同步
1、inotify(sersync)+rsync,是文件级别的
2、drbd文件系统级别,文件系统级别面积与block块同步,缺点;北街店数据不可用
3、第三方软件的同步功能:MySQL同步,oracle,mongodb。
4、程序双写、直接写两台服务器
5、利用产品服务逻辑解决(读写分离,备读不到,读主)
6、NFS集群(双写主存储,备存储inotify(sersync)+rsync,备没有找到主解决延迟问题
本文出自 “11255195” 博客,请务必保留此出处http://11265195.blog.51cto.com/11255195/1784223
原文地址:http://11265195.blog.51cto.com/11255195/1784223