本文处理三剑客之sed的使用
什么是sed?
Stream EDitor(简称sed), 行编辑器，一次只读一行，只处理一行，不对源文件做处理，至输出到屏幕上。
sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。
sed命令格式
sed[option]... ‘script‘ inputfile...
常用选项：
-n：静默模式，不输出模式空间内的内容；默认打印空间模式的内容
-e: ‘script‘ -e ‘script‘ :指定多个编辑指令
-f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本
-r: 支持使用扩展正则表达式
-i: 直接编辑原文件
地址定界：
(1) 不给地址：对全文进行处理
(2) 单地址：
#: 指定的行
/pattern/：被此处模式所能够匹配到的每一行
(3) 地址范围：
#,# 例如：3,10 第三到第十行
#,+# 例如：3，+7 第三到第十行
/pat1/,/pat2/ 例如: /^root/,/^sync/ 从行首为root的行到行首为sync的行
#,/pat1/ 例如: 1,/^sync/ 从第一行到行首为sync的行
(4) ~：步进
1~2 奇数行 例如： 1~2p 显示以1开始，步进为2的行，即13579奇数行
2~2 偶数行 例如： 222p 显示以2开始，步进为2的行，即246819偶数行
编辑命令：
d: 删除模式空间匹配的行
p: 显示模式空间中的内容
a \text：在行后面追加文本；支持使用\n实现多行追加
i\text：在行前面插入文本；支持使用\n实现多行插入
c \text：替换行为单行或多行文本
w /path/to/somefile: 保存模式匹配的行至指定文件
r /path/from/somefile：读取指定文件的文本至模式空间中匹配到的行后
=: 为模式空间中的行打印行号
!:模式空间中匹配行取反处理
s///：查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
g: 行内全局替换
p: 显示替换成功的行
w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中
此命令有点难理解，请通过下面示例以及解释了解此命令的用法
sed示例
（1）sed‘2p’ /etc/passwd
匹配/etc/passwd的第二行的数据到模式空间处理，（默认）然后再把数据打印在原来数据的下面一行
（2）sed –n ‘2p’ /etc/passwd
显示匹配到/etc/passwd文件第二行的数据到模式空间，显示经过模式空间处理过数据。
（3）sed –n ‘1,4p’ /etc/passwd
显示匹配到/etc/passwd文件第1-4行的数据到模式空间，显示经过模式空间处理过的1~4行数据。
（4）sed –n ‘/root/p’ /etc/passwd
显示匹配到/etc/passwd文件里面含有root字符信息的行的数据到模式空间，显示经过模式空间处理过的包括root信息的行的数据。
（5）sed–n ‘2,/root/p’ /etc/passwd从2行开始
显示匹配到/etc/passwd里面第2行到第一个含有root字符信息的行的数据到模式空间，显示经过模式空间处理过的从第2行到第一个含有root字符信息的行的数据。
（6）sed -n ‘/^$/=’ file
显示匹配到文件里面空行的行的到模式空间，并且在模式空间里面显示这些数据在文件里面的行号，然后把数据显示出来。
（7）sed –n –e ‘/^$/p’ –e ‘/^$/=’ file
显示匹配到文件里面空行的行的到模式空间，并且经过模式空间处理加上行号，然后把这些在模式空间处理过的数据打印在原数据的下面一行。
（8）sed‘/root/a\superman’ /etc/passwd
显示匹配到/etc/passwd里面含有root字符的行信息到模式空间，追加一个superman的信息，并打印到原行的下一行。
（9）sed‘/root/i\superman’ /etc/passwd
显示匹配到/etc/passwd里面含有root字符的行信息到模式空间，追加一个superman的信息，并打印到原行的上一行。
（10）sed‘/root/c\superman’ /etc/passwd
显示匹配到/etc/passwd里面含有root字符的行信息到模式空间，并替换原行成信息为superman的行。
（11）sed‘/^$/d’ file
删除空行
（12）sed‘1,10d’ file
匹配文件的1-10行，并且删除
（13）nl /etc/passwd| sed‘2,5d’
匹配文件的2-5行，并且删除
（14）nl /etc/passwd| sed‘2a tea’
在第二行后面加上tea
（15）sed ‘s/root/testroot/g‘ /etc/passwd
查找全文把所有的root改成testroot
（16）sed–n‘s/root/&superman/p’ /etc/passwd
查找root字符的信息，再root后面加上superman的字符，且只显示经过模式空间处理的信息。
（17）sed –n‘s/root/superman&/p’ /etc/passwd
查找root字符的信息，再root前面加上superman的字符，且只显示经过模式空间处理的信息。
（18）sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets
查找每行第一个dog的字符改成cat,和查找每行第一个hi字符的信息改成lo。
（19）sed –i.bak ‘s/dog/cat/g’ pets
查找全文的dog改成cat,并且修改文件和做原文件的备份。
经过以上的示例，如果都看明白了，相信大家应该都大概了解sed的工作原理了，跟grep有点类似，但是有些地方跟grep不一样，例如sed有一个模式空间，还有一个保持空间（下面说），且sed可以直接修改原文件并且对原文件做备份等等功能，都可以看出来sed功能的强大。
sed命令不单只有以上那些功能，还有一些更加高级的功能，和另外一个空间，叫做保持空间。
我们先来看看sed的工作原理
可以看到，有一个用于数据交换的保持空间(HOLDING SPACE),下面通过一些高级编辑命令来浅析一下这个保持空间的作用。
sed高级编辑命令：
h: 把模式空间中的内容覆盖至保持空间中
H：把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G：从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N：追加匹配到的行的下一行至模式空间
d: 删除模式空间中的行
D：删除当前模式空间开端至\n的内容（不在传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed
sed高级编辑示例：
（1）sed -n ‘n;p‘ FILE
一:匹配1，因为n的作用，匹配1的下一行，即第二行的2，把2覆盖到模式空间，然后打印，即122
二:因为第二行已经匹配过，现在就到匹配第三行3，因为n的作用，匹配第四行4，即122344
如此重复，直到重复所有的行。
（2）sed ‘1!G;h;$!d‘ FILE
一.匹配第一行数据，因为1！，所以G不执行，然后执行h,把模式空间的1覆盖到保持空间，由于第一行不是最后一行，所以把模式空间的数据删除。
二.匹配第二行数据，因为2，所以G执行,把保持空间的1追加到模式空间，此时模式空间有两行，2行和1行，然后执行h,把模式空间的数据覆盖到保持空间，所以保持空间有两行，2行和1行，因为$!d,所以把模式空间的数据删除，下面执行第三行数据。
三.匹配第三行数据，因为3，所以G执行,把保持空间的2行和1行追加到模式空间，此时模式空间有三行，3行、2行和1行，然后执行h,把模式空间的数据覆盖到保持空间，所以保持空间有三行，3行、2行和1行，因为$!d,所以把模式空间的数据删除，下面执行第四行数据。
四.按照上面的步骤,一直执行到第十行，此时保持空间为10、9、8、7、6、5、4、3、2、1。因为是第十行，最后一行，所以$!d执行，把模式空间里面的数据删除，然后把保持空间的数据输出到屏幕，如下面所示。
（3）sed ‘$!N;$!D‘ FILE
一.分析题目的意思,$!N（最后一行不追加下一行的到模式空间）;$!D（最后一行不删除模式空间的数据），通过前面的理解，每次通过N追加匹配多行的时候，因为$!D 作用的关系，会把模式空间的所有数据都删除，所以实际上，只有最后一行匹配数据才会有数据留下。下面模拟命令执行。
二.匹配第一行，因为$!N,所以1行到模式空间中，然后追加下一行到模式空间中，此时模式空间有1行，2行。再到$!D工作，此时把模式空间的多行模式的内容全部删掉，那么此时模式空间为空，然后什么都没输出。
三.按照第二步骤一直执行，直到倒数第二行，即9行，开始匹配数据。因为$!N,所以匹配9行的下一行的数据追加到模式空间，那么此时模式空间的数据为9行，10行。最后$!D工作，因为已经跳到第十行，即最后一行，此命令工作跳过不执行，此时已经匹配完所有的行，然后输出模式空间的数据，即9行和10行，结果如下图所示。
（4）sed ‘$!d‘ FILE
一.分析题目的意思，$!意思，$是最后一行的意思，!是“非”的意思，$!,即不是最后一行
二.d是删除的意思，$!d,即不是最后一行就删掉。所以最后的结果是10
（5）sed ‘G’ FILE
一.G的意思：从保持空间取出内容追加至模式空间。
二.默认保持空间是空的，那么就一个G的意思，就是把保持空间的空行追加至模式空间，此时模式空间里面就会存在一个1的行和一个空行。那么匹配完第一行再输出结果的时候，即第一行1，第二行空行。
三.按照第二个步骤重复操作到最后一下，结果如下。
（6）sed ‘g’ FILE
一.g的意思：从保持空间取出数据覆盖至模式空间
二.默认保持空间是空的，那么就一个g的意思，就是把保持空间的空行追加至模式空间，此时模式空间里面本来存在一个1的行，此行会被覆盖掉。然后再把结果输出到屏幕，即把空行输出到屏幕。
三.如此重复匹配到最后一行，一共10行，最后结果即10个空行。
（7）sed ‘/^$/d;G’ FILE
一.^$是空行的意思，d是删除，G是追加保持空间的数据到模式空间
二.开始匹配，^$/d 意思，把所有空行都删掉了，此时文档就剩下10行，即1到10的行（此文档本来没有空行，大家可以想象为假如该文件本身存在很多空行）。然后G的作用下，把保持空间的数据“空行”追加到模式空间。
三.如此匹配到最后一行，结果如下。
（8）sed ‘n;d‘ FILE
一.n匹配第一行的下一行，即偶数行；d是删除的意思
二，n;d的意思。删除偶数行，然后输出，结果如下。
（9）sed -n ‘1!G;h;$p‘ FILE
一.匹配第一行，因为1,所以G不执行，执行h,把1行从模式空间覆盖到保持空间，此时保持空间为1行，执行$p，因为不符合$p(即最后一行才打印)，所以不执行，因为-n,所以模式空间编辑过的数据不输出，下面匹配第二行。
二.匹配第二行，因为2,执行G,把保持空间的1行追加到模式空间，此时模式空间的数据为2行，1行。执行h,把模式空间的数据覆盖到保持空间，此时保持空间的数据为2行，1行。执行$p，不符合条件，跳过，因为-n,所以模式空间编辑过的数据不输出。匹配下一行数据。
三.匹配第三行，因为3,执行G,把保持空间的2行和1行追加到模式空间，此时模式空间的数据为3行、2行、1行。执行h,把模式空间的数据覆盖到保持空间，此时保持空间的数据为3行，2行，1行。执行$p，不符合条件，跳过，因为-n,所以模式空间编辑过的数据不输出。匹配下一行数据。
四.按照上面的步骤,一直执行到第十行，此时保持空间为10、9、8、7、6、5、4、3、2、1。因为是第十行，最后一行，所以$p执行，然后把保持空间的数据输出到屏幕，因为-n,所以模式空间编辑过的数据不输出，最后如下面所示。
文本编辑利器之vim的使用
什么是vim?
Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性。
vim的使用方法
打开文件的正确方式
# vim [OPTION]... FILE...
+#: 打开文件后，直接让光标处于第#行的行首
+/PATTERN：打开文件后，直接让光标处于第一个被PATTERN匹配到的行的行首
vim + file 直接打开file,光标在最后一行
vim –b file 二进制方式打开文件
vim –d file1 file2… 比较多个文件
vim -m file 只读打开文件
ex file 或vim –e 直接进入ex模式
如果该文件存在，文件被打开并显示内容
如果该文件不存在，当编辑后第一次存盘时创建它
vim编辑器的多种命令模式
主要模式：
命令模式（默认）：移动光标，剪切/粘贴文本
插入（编辑）模式：修改文本
扩展命令模式：保存，退出等
可视化编辑模式：能实现在图形界面下面操作，很方便
这里引用一下老师的图：
模式之间的转换
命令模式----> 插入模式
i: insert, 在光标所在处输入
I：在当前光标所在行的行首输入
a: append, 在光标所在处后面输入
A：在当前光标所在行的行尾输入
o: 在当前光标所在行的下方打开一个新行
O：在当前光标所在行的上方打开一个新行
插入模式----> 命令模式
键盘左上角按ESC
命令模式----> 扩展模式
shift加:（冒号）
扩展模式----> 命令模式
键盘左上角按ESC
锁定和解锁:CTRL+s,Ctrl+q
注意，当锁定的时候，只是屏幕被锁定，当在键盘上面输入的时候，屏幕不会有显示，但是后台还是有在输入数据，当解锁屏幕的时候，就能看见刚操作的内容。
关闭文件的正确方式
扩展模式：
:q 退出
:q! 强制退出，丢弃做出的修改
:wq保存退出
:x 保存退出
命令模式
ZZ: 保存退出
ZQ：不保存退出
扩展模式操作方法
按“:”进入Ex模式
创建一个命令提示符:,处于底部的屏幕左侧
命令：
w 写（存）磁盘文件
wq 写入并退出
x 写入并退出
q 退出
q！ 不存盘退出，即使更改都将丢失
r filename 读文件内容到当前文件中
w filename 将当前文件内容写入另一个文件
!command
r!command
命令模式光标跳转的方法
字符间跳转：
h: 左 j: 下 k: 上 l: 右
键盘← ↓ ↑ →
#COMMAND：跳转由#指定的个数的字符；
EX.当前光标位置往右边跳转10个字符：按键盘: 10l
单词间跳转：
w：下一个单词的词首
e：当前或下一单词的词尾
b：当前或前一个单词的词首
#COMMAND：由#指定一次跳转的单词数
EX.当前光标位置跳到右边第三个单词词首：按键盘：3w
当前页跳转：
H：页首
M：页中间行
L: 页底
行首行尾跳转：
^: 跳转至行首的第一个非空白字符；
0: 跳转至行首
$: 跳转至行尾
行间移动：
#G、扩展模式：# ：跳转至由#指定行
EX.从当前光标行数起向下跳转至第100行，按键盘：100G
G：最后一行
1G, gg: 第一行
句间移动：
)：下一句(：上一句
段落间移动：
}:下一段{：上一段
命令模式翻屏操作
Ctrl+f: 向文件尾部翻一屏
Ctrl+b: 向文件首部翻一屏
Ctrl+d: 向文件尾部翻半屏
Ctrl+u：向文件首部翻半屏
字符编辑：
x: 删除光标处的字符；
#x: 删除光标处起始的#个字符
EX.删除光标处起始的10个个字符：按键盘:10x
xp: 交换光标所在处的字符及其后面字符的位置
shift+~:转换大小写
删除命令：
d： 删除命令，可结合光标跳转字符，实现范围删除；
d$：删除到行尾
d^：删除到非空行首
d0：删除到行首
dw：向行尾方向删除当前光标除的单个符号或者整个单词
de：向词尾方向删除同类型的符号，如果是单词前面有符号的话一并删除
db：向行首方向删除当前光标除的单个符号或者整个单词
#COMMAND
dd：删除光标所在的行
#dd：多行删除
EX.删除当前光标向下数起的3行：按键盘:3dd
D：从当前光标位置一直删除到行尾，留空行，等同于d$
复制命令(y, yank)：
y: 复制，行为相似于d命令
y$：复制到行尾
y0：复制到行首
y^：复制到非空行首
ye：向词尾方向复制同类型的符号，如果是单词前面有符号的话一并复制
yw：向行尾方向复制当前光标除的单个符号或者整个单词
yb：向行首方向复制当前光标除的单个符号或者整个单词
#COMMAND
yy：复制行
#yy: 复制多行
EX.复制两行:按键盘：2yy
Y: 复制整行，等同于yy
粘贴命令(p, paste)：
p：缓冲区存的如果为整行，则粘贴当前光标所在行的下方；否则，则粘贴至当前光标所在处的后面
P：缓冲区存的如果为整行，则粘贴当前光标所在行的上方；否则，则粘贴至当前光标所在处的前面
改变命令(c, change)
c: 修改后切换成插入模式
命令模式--> 插入模式
c$：修改到行尾
c^：修改到非空行首
c0：修改到行首
cb：向行首方向修改当前光标除的单个符号或者整个单词
ce：向词尾方向修改同类型的符号，如果是单词前面有符号的话一并复制
w：向行尾方向修改当前光标除的单个符号或者整个单词
#COMMAND
cc：删除当前行并输入新内容
#cc:
C：删除当前光标到行尾，并切换成插入模式
100iwang [ESC] 粘贴“wang”100次
<start position><command><end position>
Command:
y 复制、d 删除、gU变大写、gu变小写
例如0y$ 命令意味着：
0 →先到行头
y →从这里开始拷贝
$ →拷贝到本行最后一个字符
ye 从当前位置拷贝到本单词的最后一个字符
撤消更改
u撤销最近的更改
#u撤销之前多次更改
U撤消光标落在这行后所有此行的更改
按Ctrl-r重做最后的“撤消”更改
. 重复前一个操作
n.重复前一个操作n次
扩展模式：地址定界（此部分内容跟sed用法相似）
地址定界
:start_pos,end_pos
#: 具体第#行，例如2表示第2行；
#,#: 从左侧#表示行起始，到右侧#表示行结尾
#,+#: 从左侧#表示的行起始，加上右侧#表示的行数
：2,+3 表示2到5行
.: 当前行
$: 最后一行
.,$-1 当前行到倒数第二行
%：全文, 相当于1,$
/part1/,/part2/
从第一次被part1模式匹配到的行开始，一直到第一次被part2匹配到的行结束
#,/part/
/part/,$
使用方式：后跟一个编辑命令
d ：删除内容
y ：复制内容
w file: 将范围内的行另存至指定文件中
r file：在指定位置插入指定文件中的所有内容
查找（跟less命令操作相同）
/PATTERN：从当前光标所在处向文件尾部查找
?PATTERN：从当前光标所在处向文件首部查找
n：与命令同方向
N：与命令反方向
s: 在扩展模式下完成查找替换操作
格式：s/要查找的内容/替换为的内容/修饰符
要查找的内容：可使用模式
替换为的内容：不能使用模式，但可以使用\1, \2, ...等后向引用符号；还可以使用“&”引用前面查找时查找到的整个内容
修饰符：
i: 忽略大小写
g: 全局替换；默认情况下，每一行只替换第一次出现
gc:全局替换，每次替换前询问
查找替换中的分隔符/可替换为其它字符，例如,@@@,###
s@/etc@/var@g
s#/boot#/#i
EX.修改全文的PATH为HELLO,然后搜索全文的HELLO操作。
vim的寄存器
有26个命名寄存器和1个无命名寄存器，常存放不同的剪贴版内容，可以不同会话间共享。
用a，b,…,z表示,用“寄存器表示，放在数字和命令之间
如：3"tyy 表示复制3行到t寄存器中
"tp 表示将t寄存器内容粘贴
未指定，将使用无命名寄存器
有10个数字寄存器，用0，1，…，9表示，0存放最近复制内容，1存放最近删除内容。当新的文本变更和删除时，1转存到2，2转存到3，以此类推。数字寄存器不能在不同会话间共享。
编辑二进制文件
以二进制方式打开文件
vim –b binaryfile
扩展命令模式下，利用xxd命令转换为可读的十六进制
:%!xxd
编辑二进制文件
扩展命令模式下，利用xxd命令转换回二进制
:%!xxd –r
保存退出
EX.查看2进制文件，默认一堆乱码
在扩展命令模式下面输入:%!xxd，如果需要切回去上图的状态，输入户%!xxd -r
可视化模式
允许选择的文本块
v面向字符
V面向行
ctrl-v 面向块
可视化键可用于与移动键结合使用：
w，），}，箭头等
突出显示的文字可以被删除，复制，变更，过滤，搜索/替换等
多文件编辑模式
vim FILE1 FILE2 FILE3 ...
:next 下一个
:prev前一个
:first 第一个
:last 最后一个
:wall 保存所有
:qall退出所有
:wqall
使用多个“窗口”
多文件分割
vim -o|-O FILE1 FILE2 ...
-o: 水平分割
-O: 垂直分割
在窗口间切换：Ctrl+w, Arrow
单文件窗口分割：
Ctrl+w,s: split, 水平分割
Ctrl+w,v: vertical, 垂直分割
ctrl+w,q：取消相邻窗口
ctrl+w,o:取消全部窗口
：wqall退出
EX.多窗口编辑模式示例
定制vim的工作特性
配置文件：永久有效
全局：/etc/vimrc
个人：~/.vimrc
扩展模式：当前vim进程有效
(1) 行号
显示：set number, 简写为set nu
取消显示：set nonumber, 简写为set nonu
(2) 括号成对匹配
匹配：set showmatch, 简写为set sm
取消：set nosm
(3) 自动缩进
启用：set ai
禁用：set noai
(4) 高亮搜索
启用：set hlsearch
禁用：set nohlsearch
(5) 语法高亮
启用：syntax on
禁用：syntax off
(6) 忽略字符的大小写
启用：set ic
不忽略：set noic
(7) 文件格式
启用：fileformat=unix
不忽略：fileformat=dos
(8) 设置文本宽度
:set textwidth=65 (vimonly)
:set wrapmargin=15
:help option-list
:setor:set all
vi/vim内置帮助
:help
:helptopic
Use:qto exit help
要熟练vim编辑器，不是一天一夕能够完成的事，要熟练vim各种常用的命令和功能模块，还需要大家多多练习。
本文出自 “~微风~” 博客，请务必保留此出处http://wanweifeng.blog.51cto.com/1957995/1837163
8.9_Linux文本处理三剑客之sed和文本编辑利器vim的使用
原文地址：http://wanweifeng.blog.51cto.com/1957995/1837163
