前言 一个在生产环境里运行的程序如果没有日志是很让维护者提心吊胆的,有太多杂乱又无意义的日志也是令人伤神。程序出现问题时候,从日志里如果发现不了问题可能的原因是很令人受挫的。本文想讨论的是如何在Java程序里写好日志。 一般来说日志分为两种:业务日志和异常日志,使用日志我们希望能达到以下目标: Ja ...
分类:
编程语言 时间:
2016-08-10 11:04:51
阅读次数:
325
来自:美团技术博客
http://tech.meituan.com/mt-log-system-arch.html
美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。...
分类:
Web程序 时间:
2016-05-18 19:40:29
阅读次数:
266
在日常的项目开发中,我们可能会使用log4j2分离系统日志与业务日志 ,这样一来,log4j2.xml 这个配置文件可能就会变得非常臃肿、庞大,那么我们可以将这个文件拆分成多个配置文件吗? 答案是肯定可以的,现在我们就来拆拆看: 假如最初的配置文件是这样的: 根据上面配置文件结构,假设我们按照 Pr ...
分类:
其他好文 时间:
2016-05-06 19:16:04
阅读次数:
384
1、业务日志相关
如果系统出现异常或者业务有异常,首先想到的都是查看业务日志
查看日志工具:
less 或者more
grep
tail -f filename 查看实时的最新内容
ps:切忌vim直接打开大日志文件,因为会直接加载到内存的
2、数据库相关
java应用很多瓶颈在数据库,一条sql没写好导致慢查询,可能就会带来应用带来致命危害。
...
分类:
编程语言 时间:
2016-04-22 07:12:26
阅读次数:
468
一、自动化监控常见的有nagios和zabbix,外面已经用得很多了,网上文档也很多。这些软件,根据bash过滤业务日志监控某个指标很容易,但画出的监控图往往不太理想,很多时候,写技术分析报告需要参考过去一段时间的历史数据,有图是最好的了。公司如果有专门的运维开发人员,也..
分类:
其他好文 时间:
2016-02-24 15:59:20
阅读次数:
201
生产环境,业务系统的日志包括业务自身逻辑的日志,中间件平台的日志,操作系统的日志等。从性能考虑:一般而言,业务自身的逻辑日志,应该配置为非debug和trace模式,这样减轻服务器的负担。中间件平台的日志,尽量开启非debug和trace模式,减轻服务器负担。如果业务系统遇到..
分类:
其他好文 时间:
2016-01-28 19:22:20
阅读次数:
205
美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计,将主要着眼于日志收集系...
分类:
Web程序 时间:
2016-01-11 17:50:24
阅读次数:
248
问题导读:1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方?2.架构设计考虑需要考虑什么问题?3.Agent死机该如何解决?4.Collector死机是否会有影响?5.Flume-NG可靠性(reliability)方面做了哪些措施?美团的日志收集系统负责美团的所有业务日志的...
分类:
Web程序 时间:
2015-08-27 18:36:58
阅读次数:
375
问题导读:1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方?2.架构设计考虑需要考虑什么问题?3.Agent死机该如何解决?4.Collector死机是否会有影响?5.Flume-NG可靠性(reliability)方面做了哪些措施?美团的日志收集系统负责美团的所有业务日志的...
分类:
Web程序 时间:
2015-08-27 18:07:42
阅读次数:
249
本次升级并没有增加新的告警,而是增加了业务日志分析,协议用的是udp514端口,和syslog公用一个端口;由于业务日志五花八门要想进行适配和分析,必须先定好格式。下面详细介绍一下日志的格式,关键内容是以空格作为区分,属性和值是用等号进行分开的,整个日志中secislandbusi..
分类:
其他好文 时间:
2015-08-16 23:24:19
阅读次数:
281