前言 有一段log日志，需从日志里面分析，统计IP访问次数排序前10名，查看是否有异常攻击。 日志提取 如下日志，这段日志包含的信息内容较多，我们希望提取ip,访问时间，请求方式，访问路径（不带参数），状态码 可以使用 awk 对日志内容格式化输出，根据空格格式化输入,第一列是ip,也就是 ,其它列 ...
分类：
编程语言 时间：
2020-05-20 18:37:41
阅读次数：
54
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk的用法 awk 'BEGIN{ commands } pattern{ comm ...
分类：
系统相关 时间：
2020-05-09 09:13:30
阅读次数：
199
#######################统计日志中测试人员执行用例个############################# BEGIN{ printf "%-10s%-10s\n","Tester","TotalTestcases" } { USERS[$4] += 1 } END{ fo ...
分类：
其他好文 时间：
2020-04-17 15:59:13
阅读次数：
68
序言 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。 MapReduce产生背景 如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这个文件一行,然后把那个 ...
分类：
其他好文 时间：
2020-02-23 11:52:43
阅读次数：
68
AOP 即 Aspect Oriented Program 面向切面编程 首先，在面向切面编程的思想里面，把功能分为核心业务功能，和周边功能。 所谓的核心业务，比如登陆，增加数据，删除数据都叫核心业务 所谓的周边功能，比如性能统计，日志，事务管理等等 周边功能在Spring的面向切面编程AOP思想里 ...
分类：
编程语言 时间：
2019-11-07 00:26:39
阅读次数：
118
1.日志文件列表 比如：/data1/logs/2019/08/15/ 10.1.1.1.log.gz 10.1.1.2.log.gz 2.统计日志中的某关键字shell脚本 zcat *.gz|grep 关键字 |grep -oP "deviceid=[^=]+"|uniq|sort -u > / ...
分类：
系统相关 时间：
2019-08-16 00:45:41
阅读次数：
108
最近与同行科技交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。本文通过对两种模式关键特性实现原理对比，希望可以尽可能客观、中立的阐明各自真实的优缺 ...
分类：
数据库 时间：
2019-08-13 15:26:38
阅读次数：
120
Linux的完整命令格式命令、选项、参数，文件管理，vi/vim编辑器，用户和组管理，文件的UGO权限基础(即普通权限、计划任务服务、yum软件管理器、源码包的编译安装流程、打包压缩文件命令、文件查询和磁盘容量统计、日志文件及分类、日志转储logrotate、光盘及自动挂载、磁盘管理（GPT,MBR.cfdisk.fdisk.RAID.LVM逻辑卷管理及LVM快照，.SWAP）、文件系统和软硬链接、quota磁盘配额、通配符、管道、重定向、命令的逻辑运行、
分类：
系统相关 时间：
2019-02-21 20:14:23
阅读次数：
290
一，造数据 1，create_data.sh 2，设置nohup 3，查看create_data.log 二，求Bps和 1，bps_sum.sh 2,设置crontab 3，查看bps_sum.log 还在研究awk，， ...
分类：
其他好文 时间：
2019-02-20 18:40:40
阅读次数：
192
1、统计日志每天IP访问量前十awk‘{print$1}‘1.log|sort-n|uniq-c|sort-n解释：（1）awk命令在分段方面比较有优势，这里的{print$1}将第一段打印出来，awk可以用-F指定分隔符，如果不指定分隔符，默认就以空白字符（比如空格、tab等），本题中，IP地址就是第一段。（2）sort命令就是排序，-n选项表示以数字的形式排序。如果不加-n，则
分类：
系统相关 时间：
2018-11-15 17:20:28
阅读次数：
251
