码迷,mamicode.com
首页 > 其他好文 > 详细

解决Zabbix使用一段时间后总报Zabbix Agent不可到达的问题

时间:2015-03-31 20:20:34      阅读:271      评论:0      收藏:0      [点我收藏+]

标签:数据库socket连接   zabbix agent   zabbix常见错误   zabbix故障   故障排除   

 Zabbix使用一段时间后总是报Zabbix Agent不可到达,报错文字如下:

 Zabbix Server Messages: PROBLEM: Zabbix agent on Zabbix server is unreachable for 5 minutes

技术分享

技术分享 

 首先查看Zabbix Agent的日志,找到关键出错信息,日志如下:

 来自:/tmp/zabbix_agentd.log

 mysqladmin: connect to server at ‘localhost‘ failed    
error: ‘Can‘t connect to local MySQL server through socket ‘/tmp/mysql.sock‘ (2)‘    
Check that mysqld is running and that the socket: ‘/tmp/mysql.sock‘ exists!

技术分享

 由此可见,Zabbix Agent无法连接数据库(作为管理员应该清楚Zabbix Agent是不会连接数据库的),具体的是无法通过/tmp/mysql.sock连接到本地数据库服务器,由于这是一个socket文件,它的默认权限对其他用户或用户组是开发读写权限的。例如查看当前的配置:

技术分享

 而且数据库服务是正在运行的,而且socket文件的确存在,权限也是正常的。而且通过命令行可以验证通过socket文件确实可以连接。

技术分享

技术分享

 问题分析与解决思路:

 数据库服务器是一直正常的,这个作为管理员即使不运行任何命令也能做到心中有数,应该不是数据库服务器自身的问题,但不能排除跟客户端的连接方式有关。

查看mysql数据库的配置文件

[root@chris ~]# delsc /etc/my.cnf    
[client]    
port = 3306    
socket = /tmp/mysql.sock    
[mysqld]    
port = 3306    
socket = /tmp/mysql.sock    
datadir = /usr/local/mysql/var    
skip-external-locking    
skip-name-resolve    
key_buffer_size = 384M    
max_connections = 5000    
max_allowed_packet = 1M    
table_open_cache = 64K    
sort_buffer_size = 128M    
net_buffer_length = 8K    
read_buffer_size = 256K    
read_rnd_buffer_size = 512K    
myisam_sort_buffer_size = 128M    
slow-query-log = 0    
tmp_table_size = 8G    
max_heap_table_size = 8G    
table_cache = 512    
binlog_cache_size = 6144M    
query_cache_type = 1    
query_cache_size = 128M    
query_cache_limit = 128M    
query_cache_min_res_unit = 1024    
myisam-recover-options = BACKUP    
innodb_data_home_dir = /usr/local/mysql/var    
innodb_data_file_path = ibdata1:10M:autoextend    
innodb_log_group_home_dir = /usr/local/mysql/var    
innodb_buffer_pool_size = 8G    
innodb_write_io_threads = 8    
innodb_read_io_threads = 8    
innodb_thread_concurrency = 16    
innodb_file_format = Barracuda    
innodb_log_file_size = 512M    
innodb_log_buffer_size = 64M    
innodb_flush_log_at_trx_commit = 1    
innodb_flush_method = O_DIRECT    
innodb_lock_wait_timeout = 50    
innodb_log_files_in_group = 3    
innodb_max_dirty_pages_pct = 90    
innodb_lock_wait_timeout = 120    
innodb_file_format = Barracuda    
innodb_use_sys_malloc = 0    
innodb_additional_mem_pool_size = 2G    
innodb_file_per_table = 1    
[mysqld_safe]    
log-error = /usr/local/mysql/var/mysql-error.log    
pid-file = /usr/local/mysql/var/mysql.pid    
[mysqldump]    
quick    
max_allowed_packet = 16M    
[mysql]    
no-auto-rehash    
[myisamchk]    
key_buffer_size = 512M    
sort_buffer_size = 512M    
read_buffer = 8M    
write_buffer = 8M    
[mysqlhotcopy]    
interactive-timeout    
[root@chris ~]#

 发现在[client]中存在socket = /tmp/mysql.sock一行,可能(可能性的情况参照下文)会默认导致mysql客户端连接时会自动使用socket进行连接。

 查看Zabbix Agent的配置文件,观察是否有通过socket连接mysql的配置信息(前面提到,作为管理员应该清楚Zabbix Agent是不会连接数据库的,此时应该准确的说默认是不会连接数据库,如下图所示Zabbix Agent添加了一个与mysql有关的监控项,里面用到了mysql程序,但没写socket选项(事实上使用localhost作为连接主机名将会使用socket))。

技术分享

 为了缩小问题范围,先将/etc/my.cnf文件中关于[client]中的socket那段先注释掉(事先应该知道没有其他客户端连接)。注意:如果把[client]中的socket注释掉,则在本机mysql客户端程序(包括mysqladmin,mysqldump等)时都需要指定主机名、端口和密码,否则客户端程序会查找socket的默认位置“/var/lib/mysql/mysql.sock”,而这个socket文件的位置并不一定是这个。

 mysql连接通过套接字连接和通过端口号连接有什么不同?Unix平台上的MySQL客户端能够以两种不同的方式连接到MySQL服务器:通过文件系统中的文件(默认为/tmp/mysql.sock)使用Unix套接字进行连接,或通过端口号使用TCP/IP进行连接。Unix套接字文件的连接速度比TCP/IP快,但仅能在与相同计算机上的服务器相连时使用。如果未指定指定主机名或指定了特殊的主机名localhost(注意此处,如果指定了连接的主机名为localhost将使用socket连接),将使用Unix套接字。套接字连接可以理解为指定了IP+端口。

 因此按照上述理论将localhost换成127.0.0.1,取消socket连接方式,改用TCP/IP连接。其实反过来回想,假如指定了连接的主机名(除了localhost)或IP地址、端口号,就不用再使用socket,因此可以将socket那个注释给去掉,这样方便管理员平时连接调试。

技术分享

 因为Zabbix Server是要连接数据库的,因此也顺便检查一下。果然有收获:关于DBPort有一个有用的注释“Database port when not using local socket. Ignored for SQLite.”意思是说如果socket不使用则使用DBPort,而默认DBPort是不使用而优先使用socket的。

技术分享

 因此也将这个DBPort设置成启用状态。

技术分享

 其他可能影响因素:

 iptables的规则-A INPUT -p tcp -m state --state NEW -m tcp --dport 3306 -j ACCEPT也是正常的,15   ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0           state NEW tcp dpt:3306 。

 SELinux是事先关闭好了的。

 但修改完上述所提到的后发现问题依然,Zabbix依然报错(Zabbix Server Messages: PROBLEM: Zabbix agent on Zabbix server is unreachable for 5 minutes),查看Zabbix Server的日志后发现有这么一条信息(后来发现还有报数据库跑飞的信息):

技术分享

技术分享 对于第一个报错:通过命令行测试这个key发现是可以获得这个key的数据的,但速度比较慢(需要三秒钟以上才能获取到数据),因此还需要检查一下这个item有没有类似timeout的数值设置。

技术分享

 由上图可知,尽管能获取到ntp[pool.ntp.org]数据,但花费的时间比较长,但是没有在Zabbix Web管理界面中找到跟超时相关的设置,因此可以考虑换一个ntp服务器或者干脆禁用掉。后来也发现这个key获取不到数据时就会导致触发Zabbix Agent不可到达的报警。

对于第二个报错:问题可能比较复杂,例如数据库所允许传递的包的大小(max_allowed_packet),数据库查询超时时间,(connect_timeout、wait_timeout)等。原始配置数据:

技术分享

 因此将max_allowed_packet = 1M改的大一些,例如改成max_allowed_packet = 2M。

经历了以上几个个操作后,发现Zabbix Server 不再产生Zabbix Agent不可到达的报警。

 小总结:

 (1)尽可能快速和有效地缩小问题范围,利用敏捷方法减少故障时间。

 (2)能先解决问题,就不要慢慢去研究;但能慢慢解决问题,就要仔仔细细去研究。

 (3)遇到小问题一定要像面对大问题一样对待,免得小问题发展成大问题。

 (4)要想快速定位问题,需要对自己的服务器环境、整个工作环境中的每一个组件、组件与组件之间的关系都需要了如指掌。

 (5)如果不是自己在维护这些服务,一定要及时与同事做好沟通。

 (6)做好问题记录,温故而知新,哪怕花时间写成一篇博文也是值得的。

--end--

本文出自 “通信,我的最爱” 博客,请务必保留此出处http://dgd2010.blog.51cto.com/1539422/1626956

解决Zabbix使用一段时间后总报Zabbix Agent不可到达的问题

标签:数据库socket连接   zabbix agent   zabbix常见错误   zabbix故障   故障排除   

原文地址:http://dgd2010.blog.51cto.com/1539422/1626956

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!