码迷,mamicode.com
首页 > 系统相关 > 详细

linux存储管理

时间:2017-05-07 10:21:10      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:character   special   工作原理   linux   files   

Linux存储管理

首先简单的来了解一下各磁盘的接口类型

IDE:并口,来源于ATA,133Mbps

SCSI:并口,

SATA:Serial ATA,串口

SAS:串口

USB:串口

并口与串口都有其各自的优势,并不能说哪个好,只是现在串口用得更广泛。

其中有一个参数IOPS用来衡量磁盘的传输速度。

IOPS:每秒IO次数


在学习磁盘管理之前,我们先要了解一下机械硬盘的构造和工作原理。详情请见

在了解了机械硬盘的构造和工作原理后,我们就可以学习磁盘管理相关知识了。

Linux中的磁盘(也可以叫设备)的各种基本概念:

设备文件、设备号、设备类型、设备文件名、设备引用方式


设备文件:/dev

设备文件是关联到硬件设备的驱动程序和设备的访问入口;


设备号:

major:主设备号,区分设备的类型,用于标明设备所需的驱动程序;

minor:次设备号,区分同种类型下的不同设备,是特定设备的访问入口;

mknod命令:

mknod - make block or character special files

mknod [OPTION]... NAME TYPE [MAJOR MINOR]


设备类型:

块设备:用于随机访问的设备,数据存储和交换的单位是块;

字符设备:用于线性访问的设备,数据的交换单位一般是字符;


设备文件名:IANA-->ICANN 

/dev/

IDE:hd[a-d]

SCSI/SATA/SAS/USB:sd[a-z]


RHEL6、CentOS6开始:

所有的接口类型的硬盘设备统一命名为sd[a-z]


设备引用方式:

设备文件名

卷标(Volume Lable)

link

UUID:全局唯一标识符,128bit


先增加新硬盘再使用,在开机状态下增加硬盘时,需要输入以下命令

 ~]# echo ‘- - -‘ > /sys/class/scsi_host/host2/scan

强制内核识别在开机状态下插上的SCSI接口的磁盘


那我们如何使用一个新的硬盘设备呢?答案就是分三步

1.分区

2.创建文件系统(格式化)

3.挂载分区


1.

为何分区?

1.优化I/O性能

2.实现磁盘空间的配额限制

3.进行高速修复

4.隔离系统文件和其他程序文件

5.安装多个操作系统


如何分区?

MBR:硬盘空间小于2TB

注意:

1.主分区+扩展分区,最多可以有4个,其分区表位的编号依次为:1,2,3,4

2.逻辑分区的编号从5开始,不管前面的四个数字编号是否被占用;

GPT:硬盘空间大于2TB

GUID Partition Table,GUID分区表,支持128个分区

UEFI(统一扩展固件接口)的硬件可以支持GPT  Boot Legacy


通常使用的分区工具:

fdisk:

用于创建和管理MBR分区,对于一块硬盘,最多只能管理15个分区;

gdisk:GNU disk

用于创建和管理GPT分区,


   fdisk分区示例:

fdisk - Partition table manipulator for Linux

fdisk -l [device...]

    查看指定磁盘的分区表,如果省略device参数,则显示所有磁盘设备的分区                          表;

fdisk device

对于指定设备进行分区管理;      

      注意:使用fdisk只是在内存当中进行,并没有在硬盘中真正实时操作,分好区之后,如果不使用             子命令‘w’保存的话,刚才的操作无意义。

parted(建议对磁盘管理非常熟悉的人才使用):GNU

高级分区工具,实时生效;

parted - a partition manipulation program

parted [options] [device [command [options...]...]]

parted /dev/sdb mklabel gpt|msdos

parted /dev/sdb print

parted /dev/sdb mkpart primary 1 200

parted /dev/sdb rm 1

   

   如果使用fdisk或gdisk命令对于已经有分区并挂载的磁盘的剩余空间进行再次分区,分区的信息即便    是保存了,也不会被内核重新读取;如果要让内核识别此类分区:

1.重启计算机;

2.partprobe命令或者partx命令,强制内核重读分区表;

CentOS5/7:partprobe -a [device] 如果省略了设备名,则表示重读所有磁                                   盘的分区表

CentOS6/7:partx -a [device]

kpartx -af [device]



2.

创建文件系统(也可以说是格式化):

创建文件系统实际上就是给分区进行存储空间的逻辑编址;为了更好地对磁盘进行管理与操作。


格式化:

低级格式化:

物理层面完成格式化,在磁盘设备出厂时,通过低级格式化来创建磁道;

主要作用:划分磁道

高级格式化:

分区之后进行,

主要作用:用来创建文件系统,为分区构建逻辑编址单元,簇,块

无论是簇还是块,都是将一个或多个扇区组织在一起,共同完成数据存储;

簇:512B 1024 2048 4096 8192 16384 32768 65536

块:1024 2048 4096


注意:

1.一个块只能放置一个文件的内容,一个文件可以占用多个块;

2.如果在某个分区中,将创建大量的小文件,把块划分的小一些;                                   反之,块就大些

3.如果分区空间比较大,块也应该大一些;


   随着磁盘空间越来越大,划分的块的数量也越来越多,之前所划分的元数据块与数据块管理起来很不方便,所以出现了划分分组,划分块组就可以解决该问题

   划分分组:

块组:

每个块组中有独立的元数据块和数据块

存放数据的时候,以块组内的数据块优先选择,如果块组内的数据块不够,可以通过                 存储策略来请多个块组协同存储;


超级块:

 主要定义了有多少个块组,以及每个块组的边界。

 注意:为了防止超级块发生故障倒置整个文件系统崩溃,对超级块进行冗余备份。


日志块:

对于数据的写入操作做记录的块;

防止数据不一致;

数据不一致通常都是由不洁关机,不洁断电导致;


所以总结一下一个完整的文件系统到底是怎样的。

一个完整的文件系统:

超级块,inode,inode bitmap,block bitmap,data block,journal block



举个例子了解一下文件系统查找:

想要查找/var/log/messages文件的内容,是怎样的过程?

首先查找/目录inode编号,从元数据区域中找到对应inode,再读取inode中的数据块指针,找到存放/目录内容的数据块;

然后,在数据块中查找名称为var的文件名,如果有,就定位其inode编号,再到元数据区域中查找对应编号的inode,再根据数据块指针找到保存var目录内容的数据块;

再然后,在该数据块中查找名称为log的文件名,如果有,就定位其inode编号,再到元数据区域中查找对应编号的inode,再根据数据块指针找到保存log目录内容的数据块;

之后,在该数据块中查找名称为messages的文件名,如果有,就定位其inode编号,再到元数据区域总查找对应编号的inode,再根据数据块指针找到messages文件对银的数据块,就可以读取数据;


Linux支持的文件系统:

位于内核空间中的文件系统驱动

1.内核一部分

2.内核模块

位于用户空间中的文件系统管理应用程序

管理命令


Linux自己的文件系统:

ext ext2 ext3 ext4(最大分区50TB,可以做根分区,可以做启动分区)

xfs(企业级64位文件系统,最大分区500TB,可以做根和启动分区)

reiserfs(良好的反删除功能)

btrfs(技术预览版)


光盘文件系统:iso9660

网络文件系统:NFS、CIFS

集群文件系统:gfs2、ocfs2

内核级的分布式文件系统:ceph

伪文件系统:proc、sysfs、tmpfs、hugepagefs

windows的文件系统:vfat,ntfs

Unix的文件系统:ufs,FFS,JFS,zfs

交换分区文件系统:swap

用户空间中的分布式文件系统:mogilefs,moosefs,glusterfs

 

对于不同的发行版的Linux,都有其默认的文件系统选择:

RHEL、CentOS

5:ext3

6:ext4

7:xfs


文件系统的管理工具: mkfs、fsck、dumpe2fs、tune2fs、


管理文件系统:

创建文件系统:

mkfs

mkfs.ext2, mkfs.ext3, mkfs.ext4, mkfs.xfs, mkfs.btrfs, ...

文件系统检测和修复工具

fsck

fsck.ext3, fsxk.ext3, fsck.ext4, fsck.xfs, ...

文件系统属性查看工具

dumpe2fs

文件系统的属性调整工具

tune2fs


创建文件系统工具:

mkfs命令:

mkfs - build a Linux filesystem

mkfs [options] [-t type] [fs-options] device [size]

mkfs -t ext2 /dev/sdb1

注意:

1.不要使用磁盘设备名称和扩展分区设备名称作为mkfs命令的参数;

如果使用磁盘设备作为mkfs的参数,所有的分区都将被删除

如果使用扩展分区作为mkfs的参数,所有的逻辑分区都将被删除

2.能够作为mkfs命令参数的设备,是主分区设备和逻辑分区设备;


如果只是计划创建ext系列文件系统的话,可以使用mke2fs命令:

mke2fs:

mke2fs - create an ext2/ext3/ext4 filesystem

常用选项:

-b block-size:在创建文件系统时,调整块大小;

-i bytes-per-inode:指明inode与字节的比率,即:多少个字节可                                                     以建一个inode,默认值为16384;

-j:创建有日志功能的文件系统,就是ext3

-N number-of-inodes:直接指明要给此文件系统创建的inode的数                                                      量;

  -m reserved-blocks-percentage:指定为超级用户root预留的磁盘                                                                空间的百分比;默认是5;

-t fstype:指定文件系统类型,ext2 ext3 ext4,默认是ext2

-O [^]feature[,...]:关闭或开启文件系统的特性

-L volume-label:为文件系统指定卷标


如果只计划修改ext系列文件系统的卷标,可以使用e2label命令:

e2label:

e2label - Change the label on an ext2/ext3/ext4 filesystem

e2label device [ new-label ]

注意:如果不加卷标信息,表示查看指定设备的卷标;

      如果添加了卷标信息, 表示修改指定设备的卷标;


如果想要修改ext系列文件系统的属性,可以使用tune2fs命令:

     tune2fs:

             tune2fs  - adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems

调整那些在ext2,3,4文件系统上的可修改的参数;

常用选项:

-j:将ext2文件系统修改为ext3;

-m reserved-blocks-percentage:修改为超级用户预留的磁盘空间                                                                 的百分比;

-o [^]mount-options[,...]:修改文件系统的默认挂载选项;

-r reserved-blocks-count:修改为超级用户预留的磁盘空间的块                                                          的数量;

-L volume-name:修改文件系统的卷标

-O [^]feature[,...]:修改文件系统的特性,将其关闭或启用;

-l:显示超级块的内容  相当于dumpe2fs -h 


文件系统的检测修改工具:

fsck

-t fstype:指定要检测的文件系统类型;

-a:无需交互,自动修复所有问题

-r:交互式修复问题


ext系列文件系统专门的检测修复工具:

e2fsck

-y:在交互过程的所有的问题,都以"yes"回答;

-f:强制检测修复;即使文件系统处于clean状态;

blkid:

blkid - command-line utility to locate/print block device attributes

blkid -L label:根据卷标进行查找

blkid -U uuid:根据UUID进行查找

findfs:

findfs - Find a filesystem by label or UUID

findfs LABEL=label

findfs UUID=uuid


创建swap文件系统

前提:分区类型必须是swap类型

修改的方法是:在fdisk交互模式中,使用t命令将指定分区的类型修改为82即可;

mkswap

mkswap - set up a Linux swap area

-L LABEL:设置交互分区的卷标

-f:强制执行

挂载:

根文件系统之外的其他文件系统如果想要被访问;都必须通过某种方式关联到根文件系统上,具体做法就是把其他文件系统装载到根文件系统中的某个目录之中;这个过程称为"挂载";用于关联其他文件系统的那个目录,称为挂载点;


挂载点:mount point,也是其他文件系统的访问入口;例如:/boot

要求:

1.作为挂载点的目录必须事先存在;

2.作为挂载点的目录应该是没有被使用或不能被其他进程使用的目录;

3.作为挂载点的目录一旦挂载文件系统,其内原有的文件将被隐藏;


完成挂载操作,使用mount命令:

mount 

mount - mount a filesystem

mount [-fnrsvw] [-t vfstype] [-o options] device dir


常用选项:

-r:readonly,以只读的方式挂载目标文件系统;光盘

-w:read and write,以读写的方式挂载目标文件系统;

-n:默认情况下,设备挂载或卸载的操作会同步更新到/etc/mtab                                       中,如果在挂载时使用了-n选项,则表示我们要禁用此特性,                                     即便挂载成功,也不会更新到/etc/mtab中。

-t vsftype:指明要挂载的设备上创建的文件系统类型;如果省略                                             该选项,mount命令会通过blkid来判断要挂载的目标                                             设备的文件系统类型;

-L LABEL:挂载文件系统时,使用卷标代替设备名称

-U UUID:挂载文件系统时,使用UUID代替设备名称

-a:mount -a:按照/etc/fstab文件中填写的设备进行自动挂载;

-o option:

sync/nosync:同步/异步操作

atime/noatime:文件或目录被读取访问时,是否更新访问                                                         时间戳;

diratime/nodiratime:目录被读取访问时,是否更新访问                                                              时间戳;

ro/rw:是以只读/读写的方式挂载文件系统;

dev/nodev:在此文件系统中是否允许创建设备文件;

exec/noexec:在此文件系统中是否允许运行程序文件;

auto/noauto:是否允许使用mount -a方式挂载/etc/fstab                                                      中的文件系统;

user/nouser:是否允许普通用户挂载此文件系统;

suid/nosuid:是否允许程序文件上的SUID和SGID特殊权限                                                      生效;

relatime/norelatime:是否参考inode访问时间来修改其                                                               修改时间和改变时间

remount:不经卸载实现重新挂载,可以应用新的挂载选                                                    项;

acl:可以使文件系统支持facl功能;

defaults:默认选项;包括:rw, suid, dev, exec,                                                      auto, nouser, async, and relatime

loop:使用环回设备;将镜像文件挂载到挂载点;

defaults,ro,nosuid

-B, --bind:将某个目录绑定至另一个目录;

mount --bind|-B 源目录 目标目录


卸载文件系统:

umount mount_point|device


挂载光盘:

1.保证光盘镜像文件放入虚拟机光驱

2.保证光驱处于"已连接"状态

3.创建光盘挂载点,mount -r /dev/sr0 mount_point


挂载U盘:

需要事先让系统识别U盘设备,然后根据设备名进行挂载;/dev/sdc1


挂载交互分区:

swapon, swapoff

swapon, swapoff - enable/disable devices and files for paging and swapping


-a:自动挂载存储于/etc/fstab文件中的交互分区设备;


如果想要每次开机都实现挂载的话,就必须把挂载信息写入/etc/fstab文件中。

/etc/fstab文件的格式:

共6个字段,使用空白字符分隔:

1.要挂载的设备

设备文件名

LABEL

UUID

伪文件系统

2.挂载点

swap设备无需挂载点,指定swap即可;

3.文件系统类型

4.挂载选项:defaults

5.转储频率:

使用dump命令备份分区的频率

0:表示不备份

1:每天备份一次

2:每隔一天备份一次

6.自检次序

0:不自检

1:优先自检,通常只设置在根文件系统上;

2:次级自检

...

9:最低优先级自检


例如: echo "/dev/sda6 /mnt ext4 defaults 2 1" >> /etc/fstab


在分区、创建文件系统、挂载、修改/etc/fstab都弄好之后,我们可以用df、free命令查看相关的磁盘信息。


df:

  df [选项]... [文件]...

常用选项:-h -T -P 

free:

free [options]

常用选项:-k -m -g


linux存储管理

标签:character   special   工作原理   linux   files   

原文地址:http://liangqunzhi.blog.51cto.com/10674929/1922746

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!