码迷,mamicode.com
首页 > 其他好文 > 详细

使用awk按照行数切割文件

时间:2017-09-03 23:54:08      阅读:181      评论:0      收藏:0      [点我收藏+]

标签:使用   pen   name   参数   一个   filename   解释   文件   open   

 

最近在做一个事情,需要将一个文本文件按照行数进行切割,然后用了,awk的方法,感觉很好用, 记录一下。

脚本如下:

 

#!/bin/bash
## 文件效果: 根据行数来切割文件
## 参数1为要切割的文件名
## 参数2为每个切割后文件的行数

filename=$1
fileline=$2

echo "filename=$filename"
echo "fileline=$fileline"

awk -v count=$fileline BEGIN{i=0} {  print $0 > sprintf("%s_%d",FILENAME,i) ; if (NR>=(i+1)*count) { close(sprintf("%s_%d",FILENAME,i)); i++;} } $filename

echo "=====finish====="

 

简单解释一下, 比较重要的就是那一行awk

-v count=$fileline  , -v 用来将变量传入

BEGIN中用来初始化一个变量 i,  用来记录是否需要进行换文件, 之后将每一行输入到对应的文件中,

直到  NR>=(i+1)*count , 相当于一个文件已经写完了, 需要写入下一个文件。

这里需要做两件事情,先关闭之前写的文件, 如果不关闭, 会报错 awk: xxx makes too many open files , 这个表示awk 打开的文件太多了。 

然后将计数器加1, 这样就可以写入下一个文件了。

 

运行效果,就是将 filename 切割成  filename_0 , filename_1, filename_2 等多个文件, 每个文件都是 fileline 行, 最后一个文件,就是剩下的行数。

 


 

 

可以很简单的得到下面这个变种, 就是 根据想要切割的文件数量来进行按照行数切割。

 

#!/bin/bash
## 根据文件数来切割
## 参数1为要切割的文件名
## 参数2为期望得到的文件数

filename=$1
filenum=$2
# 计算每个文件的行数
fileline=$(( `cat $filename | wc -l ` / $filenum + 1 )) echo "filename=$filename" echo "filenum=$filenum" awk -v count=$fileline BEGIN{i=0} { print $0 > sprintf("%s_%d",FILENAME,i) ; if (NR>=(i+1)*count) { close(sprintf("%s_%d",FILENAME,i)); i++;} } $filename echo "=====finish====="

 

使用awk按照行数切割文件

标签:使用   pen   name   参数   一个   filename   解释   文件   open   

原文地址:http://www.cnblogs.com/cyttina/p/7471221.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!