码迷,mamicode.com
首页 > 其他好文 > 详细

海量日志数据如何处理统计?

时间:2017-06-17 15:13:05      阅读:113      评论:0      收藏:0      [点我收藏+]

标签:写入   das   大神   统计   基于   描述   oar   dpm   blank   

项目需要做一个dashboard图表网站,展示日志的相关统计信息。这个页面图表很多,一次性会加载出很多数据。

日志表有很多种,都是一些入侵攻击日志、恶意站点访问日志等等,需要统计出当前时间、过去24小时、过去一周被攻击主机个数、恶意站点数(这是其中两个需求)等等数据。

比如被攻击主机个数,需要查多张数据表,然后统计出这个数据。

日志存储在PostgreSQL里面,已经基于时间做了分表,但是每天的的日志量都在100W以上。

写入数据库的模式是随时从其他的系统中写入。

根据这个应用场景,如果设计这个后端统计呢?还请大神提供一点思路,谢谢。


海量日志数据如何处理统计? >> mysql

这个答案描述的挺清楚的:
http://www.goodpm.net/postreply/mysql/1010000007402947/海量日志数据如何处理统计.html

海量日志数据如何处理统计?

标签:写入   das   大神   统计   基于   描述   oar   dpm   blank   

原文地址:http://www.cnblogs.com/scrumme/p/7040137.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!