NFS详细介绍与企业应用场景结合案例

标签：network   应用程序   基本原则   服务器   服务端   

  一、NFS服务简介

　　NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文件共享的一种方法。

　　NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。

　　NFS在文件传送或信息传送过程中依赖于RPC协议。RPC，远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的，但NFS却能让我们通过网络进行资料的分享，这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务，不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系：NFS是一个文件系统，而RPC是负责负责信息的传输

下面是NFS与rpc

部署NFS服务，需要以下软件包 

nfs-utils:这个NFS服务主程序

portmap:Centos5.x 下面RPC的主程序 

rpcbind：Centos6.x 下面的RPC主程序

在提供NFS服务之前必须启动rpcbind服务

一、查看系统环境信息

[root@localhost ~]# cat /etc/redhat-release 

CentOS release 6.5 (Final)

[root@localhost ~]# uname -r

2.6.32-431.el6.x86_64

[root@localhost ~]# uname -m

x86_64

二、查看nfs软件包

[root@localhost ~]# rpm -qa rpcbind

rpcbind-0.2.0-11.el6.x86_64

[root@localhost ~]# rpm -qa  nfs-utils

nfs-utils-1.2.3-54.el6.x86_64

如果没有，执行安装即可

yum install nfs-utils  rpcbind -y 

三、 启动

1,先启动rpcbind

[root@localhost ~]# /etc/init.d/rpcbind start

Starting rpcbind:      

[root@localhost ~]# rpcinfo -p localhost

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

此时nfs没有向他注册端口

2，在启动nfs

[root@localhost ~]# /etc/init.d/nfs start

Starting NFS services:                                     [  OK  ]

Starting NFS mountd:                                       [  OK  ]

Starting NFS daemon:                                       [  OK  ]

Starting RPC idmapd:                                       [  OK  ]

[root@localhost ~]# rpcinfo -p localhost

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

    100005    1   udp  59246  mountd

    100005    1   tcp  51850  mountd

    100005    2   udp  49388  mountd

    100005    2   tcp  51643  mountd

    100005    3   udp  47327  mountd

    100005    3   tcp  54323  mountd

    100003    2   tcp   2049  nfs

    100003    3   tcp   2049  nfs

    100003    4   tcp   2049  nfs

    100227    2   tcp   2049  nfs_acl

    100227    3   tcp   2049  nfs_acl

    100003    2   udp   2049  nfs

    100003    3   udp   2049  nfs

    100003    4   udp   2049  nfs

    100227    2   udp   2049  nfs_acl

    100227    3   udp   2049  nfs_acl

    100021    1   udp  59127  nlockmgr

    100021    3   udp  59127  nlockmgr

    100021    4   udp  59127  nlockmgr

    100021    1   tcp  46324  nlockmgr

    100021    3   tcp  46324  nlockmgr

    100021    4   tcp  46324  nlockmgr

[root@localhost ~]# ^C

加入开机启动

chkconfig nfs   on

chkconfig rpcbind  on

3,客户端配置

[root@localhost ~]# cat /etc/redhat-release 

CentOS release 6.5 (Final)

[root@localhost ~]# uname -r

2.6.32-431.el6.x86_64

[root@localhost ~]# uname -m

x86_64

yum install rpcbind -y

root@localhost ~]# /etc/init.d/rpcbind start

Starting rpcbind:  

chkconfig rpcbind  on

4,服务器端开始配置nfs的共享目录

[root@localhost ~]# vim /etc/exports

/application 192.168.0.0/24(rw,sync)  

[root@localhost ~]# /etc/init.d/nfs reload   平滑重启

[root@localhost ~]# cat /etc/exports 

#share directory

/application 192.168.0.0/24(rw,sync) 

[root@localhost ~]# showmount -e localhost

Export list for localhost:

/application 192.168.0.0/24

客户端检查是否可挂载

[root@localhost ~]# showmount -e  192.168.0.221

Export list for 192.168.0.221:

/application 192.168.0.0/24

客户端开始挂载

[root@localhost ~]# mount -t nfs 192.168.0.221:/application /mnt

[root@localhost ~]# df -h

Filesystem                    Size  Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root   36G  1.2G   33G   4% /

tmpfs                         242M     0  242M   0% /dev/shm

/dev/sda1                     485M   32M  428M   7% /boot

192.168.0.221:/application     36G  4.8G   29G  15% /mnt

[root@localhost ~]# ^C

 [root@localhost ~]# cd /mnt/

[root@localhost mnt]# ls

apache  nginx

[root@localhost mnt]# touch test.txt 

touch: cannot touch `test.txt‘: Permission denied  服务器的目录权限

[root@localhost mnt]# ^C

[root@localhost application]# ll -d /application/

drwxr-xr-x. 4 root root 4096 Jul 24 17:56 /application/  此时其他用户没有写权限 

服务器端：

root@localhost ~]# cat /var/lib/nfs/etab 

/application 192.168.0.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534) 

找到nfs的默认用户anonuid gid 

[root@localhost ~]# cat /etc/passwd | grep 65534

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

此时nfs的默认用户是 nfsnobody

root@localhost ~]# chown -R nfsnobody:nfsnobody /application

此时客户端应该有权限写入数据

[root@localhost mnt]# ll

total 8

drwxr-xr-x. 15 nfsnobody nfsnobody 4096 Jul 17 21:18 apache

-rw-r--r--.  1 nfsnobody nfsnobody    0 Jul 24  2015 ceshi.txt

drwxr-xr-x. 11 nfsnobody nfsnobody 4096 Jul 15 17:58 nginx

[root@localhost mnt]# touch test.tst

[root@localhost mnt]# ll

total 8

drwxr-xr-x. 15 nfsnobody nfsnobody 4096 Jul 17 21:18 apache

-rw-r--r--.  1 nfsnobody nfsnobody    0 Jul 24  2015 ceshi.txt

drwxr-xr-x. 11 nfsnobody nfsnobody 4096 Jul 15 17:58 nginx

-rw-r--r--.  1 nfsnobody nfsnobody    0 Jul 24  2015 test.tst

[root@localhost mnt]# 

###NFS 进程

ot@localhost ~]# ^C

[root@localhost ~]# ps -ef | grep   -E "nfs|rpc"

rpc      16004     1  0 17:07 ?        00:00:00 rpcbind     rpc服务

root     16106     2  0 17:18 ?        00:00:00 [rpciod/0]

root     16114     1  0 17:18 ?        00:00:00 rpc.mountd  权限管理进程 ，主要管理nfs文件系统

root     16120     2  0 17:18 ?        00:00:00 [nfsd4]

root     16121     2  0 17:18 ?        00:00:00 [nfsd4_callbacks] 

root     16122     2  0 17:18 ?        00:00:00 [nfsd]

root     16123     2  0 17:18 ?        00:00:00 [nfsd]

root     16124     2  0 17:18 ?        00:00:00 [nfsd]

root     16125     2  0 17:18 ?        00:00:00 [nfsd]

root     16126     2  0 17:18 ?        00:00:00 [nfsd]

root     16127     2  0 17:18 ?        00:00:00 [nfsd]

root     16128     2  0 17:18 ?        00:00:00 [nfsd]

root     16129     2  0 17:18 ?        00:00:00 [nfsd]   nfs---主进程，管理nfs客户端是否可以登录

root     16152     1  0 17:18 ?        00:00:00 rpc.idmapd

root     16354 16324  0 18:58 pts/0    00:00:00 grep -E nfs|rpc

[root@localhost ~]# 

 [root@localhost ~]# /etc/init.d/nfs restart

Shutting down NFS daemon:                                  [  OK  ]

Shutting down NFS mountd:                                  [  OK  ]

Shutting down NFS services:                                [  OK  ]

Shutting down RPC idmapd:                                  [  OK  ]

Starting NFS services:                                     [  OK  ]

Starting NFS mountd:                                       [  OK  ]

Starting NFS daemon:                                       [  OK  ]

Starting RPC idmapd:                                       [  OK  ]

[root@localhost ~]# 

nfs 配置文件

/etc/exports  以行为单位

exportfs -rv  === /etc/init.d/nfs  reload

/var/lib/nfs/etab  nfs配置文件的完整参数设定的文件

/application 192.168.0.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534)

MFS  GFS 分布式文件系统

nfs 文件格式

/application 192.168.0.0/24（rw,sync）

/application   要共享的目录  必须存在

192.168.0.0/24    共享目录客户端运行访问的ip或者ip范围   也可以使用域名

rw  

async 异步同步  ，数据先存放到内存，等磁盘有空再存入硬盘（使用时候根据情况判断--电商秒杀）

sync  同步 客户端接受服务器的数据后，才算完成一次，实时同步。

ro    只读

重要参数 

all_squash ：不管访问NFS server共享目录的用户身份如何，它的权限将

被压缩成匿名用户，同时它的UID,GID通常会变成nobody 或nfsnobody账号身份账号

生产环境配置NFS生产重要技巧

1，确保所有服务器对NFS共享目录具备相同的权限

  a,加all_squash参数 把所有客户端都压缩成匿名用户

  b,就是anonuid,anongid指定的UID和GID的用户

2，所有的客户端和服务端都需要一个相同的UID和GID的用户，即nfsnobody(UID必须相同)

工作场景案例：

实现多台客户端同时挂载一台nfs server时，无论从哪一个客户端写入数据，其他客户端同样也可以读写

，即让所有nfs客户端写入到nfs server 的文件或者目录在nfs server上的用户和组都是同一个名称oldboy

1，在所有客户端和服务端创建一个共享nfs用户 oldboy   UID 必须一样  

 useradd oldboy -u 555 

 id oldboy ,

2，修改配置文件

vim /etc/exports

[root@localhost application]# cat /etc/exports 

#share directory

/application 192.168.0.0/24(rw,sync,all_squash,anonuid=555,anongid=555) 

[root@localhost application]# 

/etc/init.d/nfs  reload

chown -R oldboy.oldboy /application

3.客户端挂载

mount -t nfs 192.168.0.221:/application /mnt

[root@localhost media]# df -h 

Filesystem                    Size  Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root   36G  1.2G   33G   4% /

tmpfs                         242M     0  242M   0% /dev/shm

/dev/sda1                     485M   32M  428M   7% /boot

192.168.0.221:/application/    36G  4.8G   29G  15% /media

[root@localhost media]# 

4,客户端测试权限

touch 111.oldboy.txt 

-rw-r--r--.  1 oldboy oldboy    0 Jul 24  2015 oldboy.txt

#########对于客户端要加入开机启动

/etc/rc.local

/bin/mount -t nfs   192.168.0.221:/application/  /mnt/

开机启动加入

/etc/rc.local 和  /etc/fstab

1,加入fstab缺点 

fstab 优先于网络启动，NFS服务器端处于不可用状态，那么客户机可能造成开机无法启动 defaults 后两项必须是0 0 ，否则导致无法启动

2，rc.loal 

偶尔开机挂载不上，需要手动挂载

所以，不要把网络文件系统放在fstab里，本地的可以，但是要设置 0 0 

所以，分别重新测试，放入rc.local  fstab中，最好做监控

针对客户端挂载nfs 共享目录时候，优化的参数有以下（mount）：

1，*******async 锁涉及到文件系统i/O的操作都是异步处理，即不会同步写到磁盘，此参数会提高性能，但是会降低数据安全

一般生产环境，不推荐使用，除非性能要求高，数据可靠性不高的场合

2，atime 在每一次数据访问是，同步更新每次的访问的inode的时间，默认是atime，在高并发的情况下，建议加上noatime来取消默认这个选项，以达到IO,优化目的3，auto 能够被自动挂载

4，******defaults 这是缺省值，rw,suid,dev,exec,auto,nouser,async 

5,exec  运行可以执行二进制文件，取消这个参数会提升系统安全性

6，nodiratime 不更新文件爱你系统上的directory inode访问时间，高并发时候建议使用此选型

7，noauto  不自动挂载

8，noexec  即使设置了noexec shell php 程序还是可以执行

9.nosuid 禁止已给普通用户挂载文件系统，  

10.rsize wsize  如果内存足够大，可以将rsize wsize 设置大点

查看客户端挂载

[root@localhost ~]# grep application /proc/mounts 

192.168.0.221:/application/ /mnt nfs4 rw,relatime,vers=4,rsize=65536,wsize=65536,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.0.222,minorversion=0,local_lock=none,addr=192.168.0.221 0 0

df -h 

mount  

是否选择在mount时候优化参数，我们最好是测试，拿数据说话。 不要我以为，自我。

wsize 

rsize   可以测试文件系统的读写速度

w,rsize=1024

mount -t nfs nosuid,noexec,rsize=1024,wsize=1024 ,rw 192.168.0.221:/application /mnt

time dd if /dev/zero of=/mnt/testfile bs=9k count=2000

11.3s  16.3M/S

mount -t nfs nosuid,noexec,rsize=65535,wsize=65535 ,rw 192.168.0.221:/application /mnt

w,rsize=65535

time dd if /dev/zero of=/mnt/testiii bs=9k count=2000

1.3s  137M/S

mount -t nfs nosuid,noexec,noatime,nodiratime,rw 192.168.0.221:/application /mnt  效率比较好，节省磁盘读写次数

 NFS官方建议

内核优化：

cat >>/etc/sysctl.conf<<EOF

echo 262144 /proc/sys/net/core/rmem_default

echo 262144 /proc/sys/net/core/rem_max

EOF

mount -lf  /mnt  强行卸载

#######NFS优化####################

1，sas ssd磁盘，买多块，raid10 (先做两个raid1，在做一个 raid0)，网卡好

2，服务器端：rw,async,all_squash,anonuid,anongid

3, 客户端:   rsize,wsize,natime,nodirtime,(前四个建议加进去)noexec 

4，内核的优化

proc/sys/net/core/rmem_default=8388608

/proc/sys/net/core/wmem_default=83388608

net.core.mem_max=16777216

net.core.wmem_max=16777216

NFS 服务器端的防火墙控制

一般NFS在内网环境，一般是关闭iptables

（1）仅允许ip段访问

iptables -A INPUT -s 10.0.0.0/24 -j ACCEPT

(2)允许IP加端口访问

IPTABLES -A INPUT -i eth1 -p tcp -s 10.1.1.0/24  --dport 111 -j ACCEPT

IPTABLES -A INPUT -i eth1 -p udp -s 10.1.1.0/24  --dport 111 -j ACCEPT

##NFS的信息总结

[root@localhost nfs]# pwd

/var/lib/nfs

[root@localhost nfs]# cat etab

/application 192.168.0.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,anonuid=555,anongid=555)

[root@localhost nfs]# 

1,/etc/exports,  /etc/fstab, /var/lib/nfs/etab, /proc/mount

#NFS 优点

1，简单，容易上手

2，部署简单，维护简单

3，数据可靠，耐用

缺点：

1，单点故障，如果nfs server宕机，所有客户端无法连接

2，高并发场合，NFS效率低（2千万的PV/日网站不是瓶颈，除非网站架构性能太差）

3，客户端认证时候基于ip和主机名，权限是根绝ID识别，安全性一般，（放置于内网比较好）

4，NFS数据传输是明文，对数据完整性不做完整

5，多台机器挂载NFS时候，连接管理麻烦，尤其服务器端出问题，所有NFS 客户端都是挂掉状态

解决高并发访问NFS的解决思路

1，分服务 1-2目录分到一个服务器，一次类推

2，读时候弃用NFS（如果web服务器少，可以把nfs内容实时同步到web服务器，这样读的时候就可以访问本地了），写的时候还是写入nfs，此处web服务器没什么压力，瓶颈是上传到的时候同步会延时。

本文出自 “crazy_sir” 博客，请务必保留此出处http://douya.blog.51cto.com/6173221/1681449

NFS详细介绍与企业应用场景结合案例

标签：network   应用程序   基本原则   服务器   服务端   

原文地址：http://douya.blog.51cto.com/6173221/1681449