码迷,mamicode.com
首页 > 其他好文 > 详细

ELK+Filebeat 实践 Error : read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout

时间:2017-03-30 18:50:27      阅读:850      评论:0      收藏:0      [点我收藏+]

标签:size   存储机制   attach   res   存储空间满   其他   doc   map   src   

问题描述:

这是一个i/o time 的问题,一般考虑就是磁盘满的问题。以下是我遇到的具体问题:

1、Kibana页面刷新,没有新数据出来,再次刷新或者点击页面上其他地方,kibana就变成这样了:

技术分享

     这让我就猜测存储空间满了。

2、看filebeat的log ,发现全是  read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout 这样的log;

3、等到elk服务器上,想修改配置,发现修改不了,并报错 "Write Error!(File System full?)"

这个时候确认磁盘满了。

df -h 发现

技术分享

进到目录里:

技术分享

原因:

主要是docker的device mapper存储机制,它会把你所有的容器存储到一个 100G 的简短文件中,并且限制每个容器最大为 10GB 。因此这里发现docker里面/dev/mapper/docker-* 存储已经10G满了

解决方案:

清空两个大文件,即 logstash-plain.log 和 logstash.stdout 。

方法:

输入命令: # > logstash-plain.log

ELK+Filebeat 实践 Error : read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout

标签:size   存储机制   attach   res   存储空间满   其他   doc   map   src   

原文地址:http://www.cnblogs.com/elena-shao/p/6647540.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!