20条有用的AWK单行语句1、END{printNR}#输出总行数2、NR==10#输出第十行3、{print$NF}#输出最后一列4、{field=$NF}END{printfield}#输出最后一行的最后一列5、NF>4#输出inputline中所有多过4列的行（这个没有在action中，所以是过滤功能）6、$NF>4#输出inputline中所有最后一列的值大于4的行，也是过滤7
分类：
其他好文 时间：
2020-02-27 23:46:41
阅读次数：
109
SED是一种在线的、非交互式的编辑器，它一次处理一行内容。和awk类似，差别在于，sed简单，对列处理的功能要差一些，awk的功能复杂，对列处理的功能比较强。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作； 编写转换程序等。 命令格式 先准备一个文件 [root@slave ~]# he ...
分类：
其他好文 时间：
2020-02-27 21:01:22
阅读次数：
84
之前帮朋友写的脚本，运维大数据服务器时候用的。 #!/bin/bash ##磁盘数量 Disk=$( fdisk -l |grep 'Disk' |grep 'sd' |awk -F , '{print "%s",substr($1,13,1)}') var=${Disk: -1:1} echo b... ...
分类：
系统相关 时间：
2020-02-27 19:17:29
阅读次数：
124
一、sed命令 1、文本处理三剑客 grep，egrep，fgrep：文本过滤器 sed：Stream EDitor，流编辑器，行。 awk：文本格式化工具，报告生成器 2、sed处理文本时会每次从文本中读出来一行然后将这一行放到sed自己的工作车间内进行加工，他不会动源文件只是把这个文件每一行复制 ...
分类：
系统相关 时间：
2020-02-27 13:00:55
阅读次数：
70
awk的基本用法格式awk动作文件名/文件名/awk/动作打印当前,print打印，$0当前行[root@zhaocheng~]#echo"awkisveryuseful"|awk‘{print$0}‘awkisveryuseful[root@zhaocheng~]#catfiletestroot:$1$dDTFylQ3$.vTZKpm7mrra9WMsxvBf
分类：
其他好文 时间：
2020-02-24 22:19:33
阅读次数：
69
当对文本的编辑，存在非常复杂的一些操作，特别是一些数值运算时，可以考虑运用awk命令中自定义函数，自己编辑一些功能。
awk在脚本程序中，功能非常强大，特别时内部可以使用一些编程语言（类似C语言），比如变量，数组，函数，分支结构（if else），循环结构等（while，for）等。 ...
分类：
系统相关 时间：
2020-02-24 18:55:13
阅读次数：
81
一、awk介绍1.awk概述awk是一种==编程语言==，主要用于在linux/unix下对==文本和数据==进行处理，是linux/unix下的一个工具。数据可以来自标准输入、一个或多个文件，或其它命令的输出。awk的处理文本和数据的方式：==逐行扫描==文件，默认从第一行到最后一行，寻找匹配的==特定模式==的行，并在这些行上进行你想要的操作。awk分别代表其作者姓氏的第一个字母。因为它的作者
分类：
系统相关 时间：
2020-02-21 09:20:40
阅读次数：
103
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2020-02-20 22:15:37
阅读次数：
69
jenkins构建重新部署时脚本： #!/bin/bash app=auth jar_pid=`ps -ef|grep -v grep | grep 'java -jar e-$app-controller-1.0-SNAPSHOT.jar'|awk '{ print $2 }'` echo $ja ...
分类：
系统相关 时间：
2020-02-20 18:43:44
阅读次数：
205
背景最近在帮公司下线离线计算集群的机器，逐台decomiss，下到第四台机器时，cdh告警来了，丢失块大于集群的1%，算了一下集群有400多台，下线一台不应该告警，以为下线步骤有问题，点了中止下线，后来看了下其实步骤是没问题的，由于下线的机器配置比较好，所以确实这台机器上存储了集群1%以上的block，于是终止了datanode的decomission，但是集群还是出现了14个missingblo
分类：
其他好文 时间：
2020-02-20 10:27:00
阅读次数：
237
