字符串应用，expect预期交互，数组，正则表达式

字符串截取及切割

1.1 问题

使用Shell完成各种Linux运维任务时，一旦涉及到判断、条件测试等相关操作时，往往需要对相关的命令输出进行过滤，提取出符合要求的字符串。

本案例要求熟悉字符串的常见处理操作，完成以下任务练习：

• 参考PPT示范操作，完成子串截取、替换等操作
• 根据课上的批量改名脚本，编写改进版renfilex.sh：能够批量修改当前目录下所有文件的扩展名，修改前/后的扩展名通过位置参数$1、$2提供

1.2 方案

子串截取的三种用法：

• ${var:起始位置:长度}
• expr substr "$var" 起始位置 长度
• echo $var | cut -b 起始位置-结束位置

路径分割：

• 取目录位置：dirname "字符串"
• 取文档的基本名称：basename "字符串"

子串替换的两种用法：

• 只替换第一个匹配结果：${var/old/new}
• 替换全部匹配结果：${var//old/new}

字符串掐头去尾：

• 从左向右，最短匹配删除：${变量名#*关键词}
• 从左向右，最长匹配删除：${变量名##*关键词}
• 从右向左，最短匹配删除：${变量名%关键词*}
• 从右向左，最长匹配删除：${变量名%%关键词*}

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：字符串的截取

1）方法一，使用 ${}表达式

格式：${var:起始位置:长度}

定义一个变量Phone，并确认其字符串长度：

使用${}截取时，起始位置可以省略，省略时从第一个字符开始截。比如，以下操作都可以从左侧开始截取前6个字符：

或者

使用${}方式截取字符串时，起始位置是从0开始的（和数组下标编号类似） 。

因此，如果从起始位置1开始截取6个字符，那就变成这个样子了：

2）方法二，使用 expr substr

格式：expr substr "$var" 起始位置 长度

还以前面的Phone变量为例，确认原始值：

使用expr substr截取字符串时，起始编号从1开始，这个要注意与${}相区分。

从左侧截取Phone变量的前6个字符：

从左侧截取Phone变量的第9-11个字符：

3）方式三，使用cut分割工具

格式：echo $var | cut -b 起始位置-结束位置

选项 -b 表示按字节截取字符，其中起始位置、结束位置都可以省略。当省略起始位置时，视为从第1个字符开始（编号也是从1开始，与expr类似），当省略结束位置时，视为截取到最后。

还以前面的Phone变量为例，确认原始值：

从左侧截取前6个字符，可执行以下操作：

从第8个字符截取到末尾：

只截取单个字符，比如第9个字符：

步骤二：字符串的替换

1）只替换第1个子串

格式：${var/old/new}

以SCHOOL变量作为测试，先确认变量值：

将字符串中的第1个r替换为RRRR:

2）替换全部子串

格式：${var//old/new}

将SCHOOL字符串中的所有r都替换为RRRR:

步骤三：字符串的匹配删除

以处理系统默认的邮箱路径为例，可直接使用环境变量MAIL：

1）从左向右，最短匹配删除

格式：${变量名#*关键词}

删除从左侧第1个字符到最近的关键词“oo”的部分，* 作通配符理解：

删除从左侧第1个字符到最近的关键词“/”的部分：

2）从左向右，最长匹配删除

格式：${变量名##*关键词}

删除从左侧第1个字符到最远的关键词“oo”的部分：

删除从左侧第1个字符到最远的关键词“/”的部分：

操作 ${MAIL##*/} 的效果与使用basename命令提取基本名称的效果相同：

3）从右向左，最短匹配删除

格式：${变量名%关键词*}

删除从右侧最后1个字符到往左最近的关键词“oo”的部分，* 做通配符理解：

删除从右侧最后1个字符到往左最近的关键词“/”的部分：

操作 ${MAIL%/*} 的效果与使用dirname命令提取目录名称的效果相同：

4）从右向左，最长匹配删除

格式：${变量名%%关键词*}

删除从右侧最后1个字符到往左最远的关键词“oo”的部分：

删除从右侧最后1个字符到往左最远的关键词“/”的部分（删没了）：

步骤四：编写renfilex.sh脚本

1）验证原始改名脚本renfile.sh的效果

脚本用途为：批量修改当前目录下的文件扩展名，将.doc改为.txt。

脚本内容参考如下：

创建一个测试用的文件夹rendir，并在其下建几个测试文件

调用renfile.sh脚本，查看修改结果（原来扩展名为.doc的文件，其扩展名都变成了.txt）：

2）建立改进版脚本renfilex.sh

要适应不同扩展名文件的修改，并能够反向还原。

修改前的扩展名、修改后的扩展名通过位置变量 $1、$2提供。

改进的脚本编写参考如下：

3）验证、测试改进后的脚本

将 *.doc文件的扩展名改为.txt：

将 *.mp4文件的扩展名改为.mkv：

2 案例2：字符串初值的处理

2.1 问题

本案例要求编写一个脚本sumx.sh，求从1-x的和，相关要求如下：

• 从键盘读入x值
• 当用户未输入任何值时，默认按1计算

2.2 方案

通过${var:-word}判断变量是否存在，决定是否给变量赋初始值。

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：认识字符串初值的最常见处理方法

1）只取值，${var:-word}

若变量var已存在且非Null，则返回 $var 的值；否则返回字串“word”，原变量var的值不受影响。

变量值已存在的情况：

变量值不存在的情况：

编写一个验证知识点的参考示例脚本如下：

步骤二：编写sumx.sh脚本，处理read输入的初值

用来从键盘读入一个正整数x，求从1到x的和；当用户未输入值（直接回车）时，为了避免执行出错，应为x赋初值1 。

1）脚本编写参考如下

2）验证、测试脚本执行效果：

3 案例3：使用Shell数组

3.1 问题

本案例要求编写一个Shell脚本getips.sh，相关要求如下：

• 能够反复从键盘输入IP地址，保存到数组
• 当用户输入“EOF”后结束输入，显示数组IPADDS各元素的值
• 最后报告本次录入的IP地址个数、其中第1个录入的地址

3.2 方案

建立数组的方法：

• 格式1，整体赋值：数组名=(值1 值2 .. .. 值n)
• 格式2，单个元素赋值：数组名[下标]=值

查看数组元素的方法：

• 获取单个数组元素：${数组名[下标]}
• 获取所有数组元素：${数组名[*]}
• 获取连续的多个数组元素：${数组名[@]:起始下标:元素个数}
• 截取数组元素值的一部分：${数组名[下标]:起始下标:字符数}

3.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：认识数组的赋值/引用基本方法

1）定义/赋值数组

若要定义数组的成员，可以在declare声明时定义，也可以直接整体定义。整体赋值的格式为“数组名=(值1 值2 值3 .. ..)”，比如：

Shell中的语法要求是比较松散的，所以我们也可以直接为单个数组元素赋值，格式为“数组名[下标]=值”，每个数组元素的编号（即下标）从0开始。比如，以下操作会产生一个包括3个元素的数组：

为数组元素赋值时，并不要求每个成员都需要指定，下标也可以不连续。比如，可跳过下标3，直接为下标为4的元素赋值：

3）查看数组、查看数组元素

输出整个数组的内容：

查看第1个（下标为0的）数组元素：

输出下标为2的数组元素：

步骤二：编写getips.sh脚本

1）任务需求及思路分析

使用read命令从键盘读入用户指定的IP地址，每次读入一个。

因为需要读多次，直到输入“EOF”时结束，所以可采用while循环结构，循环条件为输入的字符串不为“EOF”。

要求用数组保存每次输入的IP地址，那肯定从下标为0的元素开始存放，赋值操作放在循环体内，下标的递增通过一个变量i控制。

遇“EOF”结束while循环后，输出整个数组的内容，并显示数组元素的个数、第1个录入的IP地址。

2）根据实现思路编写脚本文件

3）验证、测试脚本

4 案例4：expect预期交互

4.1 问题

本案例要求编写一个expect脚本，实现SSH登录的自动交互：

• 提前准备好目标主机，IP地址为192.168.4.5
• 用户名为mike、密码为1234567
• 执行脚本后自动登入，并且在目标主机建立测试文件 /tmp/mike.txt

4.2 方案

expect可以为交互式过程（比如FTP、SSH等登录过程）自动输送预先准备的文本或指令，而无需人工干预。触发的依据是预期会出现的特征提示文本。

常见的expect指令：

• 定义环境变量：set 变量名 变量值
• 创建交互式进程：spawn 交互式命令行
• 触发预期交互：expect "预期会出现的文本关键词:" { send "发送的文本\r" }
• 在spawn建立的进程中允许交互指令：interact

4.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：准备expect及SSH测试环境

1）安装expect工具

步骤二：编写expect_ssh脚本，实现免交互登录

1）任务需求及思路分析

在SSH登录过程中，如果是第一次连接到该目标主机，则首先会被要求接受密钥，然后才提示输入密码：

当然，如果SSH登录并不是第一次，则接受密钥的环节就没有了，而是直接进入验证密码的过程：

2）根据实现思路编写脚本文件

脚本内容参考如下：

3）验证、测试脚本

执行脚本前，目标主机上并没有/tmp/mike.txt文件：

执行expect_ssh.sh自动登录脚本：

再次检查目标主机，会看到已经建立了/tmp/mike.txt文件，说明expect自动登录并远程执行命令成功：

5 案例5：使用正则表达式

5.1 问题

本案例要求熟悉正则表达式的编写，完成以下任务：

• 利用egrep工具练习正则表达式的基本用法
• 提取出httpd.conf文件的有效配置行
• 编写正则表达式，分别匹配MAC地址、E-Mail邮箱地址、IP地址、主机名

5.2 方案

5.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：正则表达式匹配练习

1）典型的应用场合：grep、egrep检索文本行

使用不带-E选项的grep命令时，支持基本正则匹配模式。比如“word”关键词检索、“^word”匹配以word开头的行、“word$”匹配以word结尾的行……等等。

输出以“r”开头的用户记录：

输出以“localhost”结尾的行：

若希望在grep检索式同时组合多个条件，比如输出以“root”或者以“daemon”开头的行，这时候基本正则就不太方便了（“或者”必须转义为“\|”）：

而若若使用grep -E或egrep命令，可支持扩展正则匹配模式，能够自动识别 |、{ 等正则表达式中的特殊字符，用起来更加方便，比如：

或者

使用grep -E 与 使用egrep命令完全等效，推荐使用后者，特别是涉及到复杂的正则表达式的时候。

2）grep、egrep命令的-q选项

选项 -q 表示 quiet（静默）的意思，结合此选项可以只做检索而并不输出，通常在脚本内用来识别查找的目标是否存在，通过返回状态 $? 来判断，这样可以忽略无关的文本信息，简化脚本输出。

比如，检查/etc/hosts文件内是否存在192.168.4.4的映射记录，如果存在则显示“YES”，否则输出“NO”，一般会执行：

这样grep的输出信息和脚本判断后的提示混杂在一起，用户不易辨别，所以可以改成以下操作：

是不是清爽多了，从上述结果也可以看到，使用 -q 选项的效果与使用 &> /dev/null的效果类似。

3）基本元字符 ^、$ —— 匹配行首、行尾

输出默认运行级别的配置记录（以id开头的行）：

输出主机名配置记录（以HOSTNAME开头的行）：

统计本地用户中登录Shell为“/sbin/nologin”的用户个数：

使用 -c 选项可输出匹配行数，这与通过管道再 wc -l的效果是相同的，但是写法更简便。比如，统计使用“/bin/bash”作为登录Shell的正常用户个数，可执行：

或者

4）基本元字符 . —— 匹配任意单个字符

以/etc/rc.local文件为例，确认文本内容：

输出/etc/rc.local文件内至少包括一个字符（\n换行符除外）的行，即非空行：

输出/etc/rc.local文件内的空行（用 –v 选项将条件取反）：

上述取空行的操作与下列操作效果相同：

5）基本元字符 +、?、* —— 目标出现的次数

还以/etc/rc.local文件为例：

输出包括 f、ff、ff、……的行，即“f”至少出现一次：

输出包括init、initial的行，即末尾的“ial”最多出现一次（可能没有）：

输出包括stu、stuf、stuff、stufff、……的行，即末尾的“f”可出现任意多次，也可以没有。重复目标只有一个字符时，可以不使用括号：

输出所有行，单独的“.*”可匹配任意行（包括空行）：

输出/etc/passwd文件内“r”开头且以“nologin”结尾的用户记录，即中间可以是任意字符：

6）元字符 {} —— 限定出现的次数范围

创建一个练习用的测试文件：

输出包括ababab的行，即“ab”连续出现3次：

输出包括abab、ababab、abababab的行，即“ab”连续出现2~4次：

输出包括ababab、abababab、……的行，即“ab”最少连续出现3次：

7）元字符 [] —— 匹配范围内的单个字符

还以前面的测试文件bracet.txt为例：

输出包括abc、abd的行，即前两个字符为“ab”，第三个字符只要是c、d中的一个就符合条件：

输出包括大写字母的行，使用[A-Z]匹配连续范围：

输出包括“非空格也非小写字母”的其他字符的行，本例中大写字母和 – 符合要求：

8）单词边界匹配

以文件/etc/rc.local为例：

输出包括单词“init”的行，文件中“initialization”不合要求：

或者：

输出包括以“ll”结尾的单词的行，使用 \> 匹配单词右边界：

或者：

9）多个条件的组合

通过dmesg启动日志查看与IDE接口、CDROM光盘相关的设备信息：

通过dmesg启动日志查看蓝牙设备、网卡设备相关的信息：

步骤二：利用正则表达式完成检索任务

1）提取出httpd.conf文件的有效配置行

以RHEL6自带的httpd软件包为例，默认的httpd.conf配置文件内提供了大量的注释信息（# 开头或空几个格再 #），以及一些分隔的空行：

提取有效配置行，也就是说应排除掉注释行、空行，根据上面的结果可得知有效配置行的数量应该是“991-674-95=222”，确认一下：

结合 > 重定向操作，提取httpd.conf的有效配置，将其保存到文件 httpd.conf.min，相关操作如下：

2）匹配MAC地址、邮箱地址、IP地址

以使用ifconfig查看的结果为例，MAC地址的特征是以“:”分隔的6组十六进制数，每组由2个字符组成，比如：

采用正则表达式匹配“00:0C:29:82:09:E9”形式的MAC地址，可以写成：

或者：

其中，[0-9a-fA-F]{2} 表示一段十六进制数值，第二种方式的{5}表示连续出现5组前置 : 的十六进制。

因此，若要从ifconfig eth0的输出结果中过滤出包含MAC地址值的行，可以执行以下操作：

或者：

根据上述操作结果，稍微扩展一下。利用MAC匹配条件，可以检查一个变量的值是否是合法的MAC地址。参考下列操作：

先定义三个变量：

利用正则表达式判断出其中哪个MAC地址是无效的：

3）匹配邮箱地址

电子邮箱地址的特征是“用户名@域名”，主要包括：

• 用户名与域名之间以 @ 分隔
• 用户名不少于3个字符，可能由字母、下划线、句点 . 、数字组成
• 域名应至少有一个 . 分隔，分隔的各部分至少2个字符，可能由字母、减号、数字组成

根据上述特点，编写的正则表达式参考如下：其中域名分隔以“\.”表示，不能表示为 . ，否则会匹配任意单个字符。

创建一个测试文件，添加若干行主机名、Email、域名地址：

过滤出上述文件中包含有效Email地址的行：

4）匹配主机名

以FQDN（完整主机名）为例，描述其特点：

• 由 . 分隔，至少包括3组字符串
• 每组字符串不少于2个字符，可能由字母、减号、数字、下划线组成
• 主机名后必须是单词边界，主机名前不能有@符号

编写正则表达式参考如下:

以前面的mailadd.txt文件为例，过滤测试如下所示：

5）匹配IP地址

归纳合法IP地址的特点：

• 以 . 分隔，一共由四组十进制数构成
• 每组数值的范围为0-255，字符宽度为1-3位
• 前后必须是单词边界

编写正则表达式参考如下：

以过滤出ifconfig命令输出结果中包含IP地址的行为例，过滤测试如下所示：