标签:文件 ack 日志文件 扩展 ima 命令行 效果 图片 大小
0、需求1、问题分解
1.1 ES集群的数据量统计
ES自带的命令行统计举例:
curl ‘localhost:9200/_cat/indices?v‘
1.2 如何实现增量?
简化思路:
1)每天的固定时间,如早晨00:00统计一次当天的数据量,形成日志文件存储如:20180228-00:00.log
2)20180228的增量为:20180229-00:00.log的数据值-20180228-00:00.log的数据量。(下一天-前一天)
1.3 如何实现统计
简化思路:
1)shell脚本获取每天统计的数据量
2)Excel公式简单计算增量
1.4 如何实现定时邮件统计
简化思路:
1)java + 邮件程序 + 读取脚本实现。
2)crontab实现定时任务处理。
2、具体实现
2.1 单日数据量统计
返回结果如下:
2.2 Java读取Shell脚本
2.3 增量数据统计
步骤1:单日数据统计。
步骤2:增量数据统计。
步骤1,步骤2数据可以Excel统计得出。
其中单日数据的拷贝shell脚本如下:
步骤3:Excel生成图表。
3、难点
无
4、小结
通过shell脚本+Excel数据统计,简单实现了数据增量可视化。
通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。
可以,在此基础上,做更多的扩展应用,比如:
1)集群监控状态监控;
2)集群堆内存使用监控;
3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。
标签:文件 ack 日志文件 扩展 ima 命令行 效果 图片 大小
原文地址:https://blog.51cto.com/14886891/2516004