linux 文件内容查找、去重、统计

标签：文件中   awk   bsp   利用   文件内容   一个   第一个   filename   开始   

cat filename | awk ‘{print $1}‘ | sort | uniq

cat filename读取一个文件

awk ‘{print $1}‘ 以默认字符分割文件每一行内容，取第一个数据

sort 对内容进行正序排序    sort -r 倒序  -n 依照数值的大小排序

uniq 对内容进行去重  /   uniq -c 统计重复次数

cat filename | awk ‘{print $1}‘ | sort | uniq -c | sort -nr ( 去重文件中重复内容，并且按照重复次数进行倒序)

cat test1.txt | awk ‘{print $1}‘ | grep -E "^4" | sort | uniq -c | sort -nr

grep -E 正则表达式，利用正则表达式过滤结果

cat test1.txt | awk ‘{print $1}‘ | sort | uniq -c | sort -r | head -n 3

head -n 3 显示前3行(从第一行开始)

tail -n 3 显示后3行（从最末行开始）

linux 文件内容查找、去重、统计

标签：文件中   awk   bsp   利用   文件内容   一个   第一个   filename   开始   

原文地址：https://www.cnblogs.com/undefined-j/p/13303070.html