码迷,mamicode.com
首页 > 其他好文 > 详细

记一次zabbix排错过程

时间:2014-10-02 04:48:12      阅读:253      评论:0      收藏:0      [点我收藏+]

标签:style   blog   color   os   文件   sp   div   2014   问题   

zabbix用了也有一段时间,基本上大大小小的报错都接触过。我个人有个习惯,偶尔会去tail -f 一下zabbix_server的日志,可能是强迫症的关系,不喜欢看到日志有任何报错信息。

本来10.1应该放假,但是临回家前一天的时候是突然发现日志中频繁曝出以下这条报错。

zabbix_server [4615]: ERROR [file:json.c,line:714] Something impossible has just happened.
zabbix_server [4615]: ERROR [file:json.c,line:714] Something impossible has just happened.

虽然暂时没发现对zabbix整体运行有什么影响,但是日志中频繁的报错让我很纠结,当时要赶火车回家过节,所以就暂时没管,到家后总是心里惦记着这件事,晚上无聊

顺便连到服务器上分析一下。先根据报错谷歌了一下,没什么大的发现。好吧,我们去看看json.c里的源码714行这地方系干嘛的。

# locate json.c
/workspace/download/redis-2.8.7/deps/lua/src/lua_cjson.c
/workspace/zabbix-2.0.11/src/libs/zbxjson/json.c

以下是这行附近的代码,尼玛我擦这我那能看懂啊。 木办法c语言是弱项好吧,我没办法了。我只好开启我们zabbix最牛逼的Debug功能了。

 713                     default:
 714                         THIS_SHOULD_NEVER_HAPPEN;
 715                 }

修改配置文件,重启zabbix-server,日志瞬间暴涨,开始对日志进行过滤,等待着报错的出现。

#tail -f zabbix_server.log | grep "Something impossible has just happened."

报错出现后,我手动吧日志拉到了本地,咱们来看看到底是什么情况。

  4615:20141002:002356.188 In lld_check_record() jp_row:{"{#API_WEB}\}":"getSecretKey"}
  4684:20141002:002356.188 query [txnlev:0] [select min(clock) from history where itemid=24155]
zabbix_server [4615]: ERROR [file:json.c,line:714] Something impossible has just happened.
  4559:20141002:002447.962 In substitute_discovery_macros() data:{#SERVICES_METHODS}
zabbix_server [4559]: ERROR [file:json.c,line:714] Something impossible has just happened.

从以上日志分析出,每当执行到有关这两个自动发现所获取的变量时就会报 Something impossible has just happened.

这条错误,想了一下这两个是前几天给某个开发所添加的自动监控一些api接口的监控程序。我先手动把这两个api相关监控都停了

发现不报错了,又仔细看了一下一上的发现一个可疑的地方,下面这个括号里的API_WEB后边多了一个"\}"

{"{#API_WEB}\}":"getSecretKey"}

基本上问题已经定位了,在自动发现接口的脚本里,多写了一个"\}"导致了以上报错。

登录到服务器修改了脚本。日志里不在报错,恩恩。。困扰了2天的问题终于静下心来搞定了。搞定后心情大好,抽根烟舒服舒服然后汤杯我碎觉~! =^_^=

记一次zabbix排错过程

标签:style   blog   color   os   文件   sp   div   2014   问题   

原文地址:http://www.cnblogs.com/itflycat/p/4003775.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!