码迷,mamicode.com
首页 >  
搜索关键字:awk 文本处理工具    ( 4925个结果
Linux命令:cp、time、cut、awk 、获取文件大小命令
最近写了一个shell脚本,用到了cp、time、cut、awk命令,把他们的使用方法给写下来:1.cp和mvcp命令:用来完成文件的复制,从源文件夹复制到目标文件夹。执行后源文件夹和目标文件夹均有源文件。mv 命令:用来移动文件。执行后,源文件夹中没有源文件。我经常用mv命令来重命名文件注意:cp...
分类:系统相关   时间:2014-06-29 14:03:19    阅读次数:5085
shell if判断(曾经被一个字符串相等的判断纠结半小时,最后只是if后少了个空格!) 和 awk引用外部变量判断
一、if判断数字: $A=12 $B=15 if(("$A"<"$B")) if(("$A"=="$B"))字符串: $A="HELLO" $B="WORLD" if [ "$A" = "FACT_LOGIN_USER" ] if [ "$A" = "$B" ]PS:字符串比较的时候...
分类:其他好文   时间:2014-05-28 09:32:44    阅读次数:347
linux下自动ftp到服务器对比拷贝指定目录下文件
#!/bin/bash process=8 PWD=`pwd` DAT=`date` ftpip="192.168.1.1" user="ftp_username" password="ftp_password" local_dir="/home/" getlist() { ftp-n$ftpip<<EOF|awk‘{print$9}‘|sed‘/^$/d‘>$PWD/list user$user$password cdfile/ dir bye EOF } copy() { if[-f$P..
分类:系统相关   时间:2014-05-27 03:55:34    阅读次数:378
测试常用命令之awk篇
awk/gawk1,内置变量FILENAME:输入文件名称FNR:当前数据文件中的数据行数NF:数据文件中的字段总数NR:已处理的输入数据行数目FS:输入数据段分隔符RS:输入数据行分隔符OFS:输出数据段分隔符ORS:输出数据行分隔符$0一行数据,$1——$n各个字段的数据。1)可以根据模式进行匹...
分类:其他好文   时间:2014-05-26 15:38:46    阅读次数:254
sed & awk
看到过的最好的一个讲解sed & awk的PPT http://www.cs.nyu.edu/~mohri/unix08/lect5.pdf 现在制作一个自己的版本的ls sed_ls_fmt s/^d/dir /1s/^-/file /1s/\([rwxs-]\{3\}\)\([rwxs-]\{3...
分类:其他好文   时间:2014-05-26 09:59:23    阅读次数:298
linux awk
简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,g...
分类:系统相关   时间:2014-05-23 05:24:57    阅读次数:435
awk按照多个分隔符进行分割
我们知道awk可以进行类似于cut之类的操作,ru...
分类:其他好文   时间:2014-05-23 01:17:28    阅读次数:280
awk
AWK程序是由一系列模式--动作对组成的,写做pattern { action }其中pattern表示AWK在数据中查找的内容,而action是在找到匹配内容时所执行的一系列命令。输入行被分成了一些记录:记录默认由换行符分割,因此输入会按照行进行分割。程序使用给定的条件一个个的测试每条记录,并执行...
分类:其他好文   时间:2014-05-22 02:06:54    阅读次数:281
利用多核CPU来加速Linux命令 — awk、sed、bzip2、grep、wc
你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作。数据专家们,我是在对你们说。你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核。借用卡通人物Ca...
分类:系统相关   时间:2014-05-21 23:53:33    阅读次数:618
使用shell+awk完成Hive查询结果格式化输出
好久不写,一方面是工作原因,有些东西没发直接发,另外的也是习惯给丢了,内因所致。今天是个好日子,走起!btw,实际上这种格式化输出应该不只限于某一种需求,差不多是通用的。需求:--基本的:当前Hive查询结果存在数据与表头无法对其的情况,不便于监控人员直接查看,或者导出到excel中,需要提供一个脚...
分类:其他好文   时间:2014-05-21 23:00:39    阅读次数:527
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!