码迷,mamicode.com
首页 > 其他好文 > 详细

k8s 资源争用

时间:2018-12-21 18:41:32      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:时间   node节点   emctl   ima   reload   修改   cpu   ystemd   并发   

由磁盘空间不足引发集群访问的问题.
k8s node节点磁盘空间不足, /var/lib/docker/overlay2 空间过大,将docker的数据目录切换到其它磁盘,
修改docker配置文文件/usr/lib/systemd/system/docker.service,
ExecStart=/usr/bin/dockerd-current \
--graph /opt/docker \

systemctl daemon-reload
systemctl restart docker
数据目录发生切换,切换之前此节点运行pod ,直接导致此节点上的所有pod丢失,image确实,重新拉取image,启动容器及项目,
因为发生了大量的拉取Image,导致内网流量跑满,一段时间,服务器反映慢,同时并发启动pod ,造成cpu 负载飙升,4核cpu, 负载到 60+ .
此时,发生非常恐怖影响,master节点忙于调度,负载飙高,基于pod的ingress nginx 在次节点上无法启动, 影响前端转发到次台的服务器不可用.
项目cpu限制1核,pod 征用cpu ,pod liveness 检测超时,进行Pod重启,从而也影响此节点已经运行正常的pod检测liveness及服务的运行.

紧急处理方法:
修改前端代理nginx ,去除有问题的node节点

k8s 资源争用

标签:时间   node节点   emctl   ima   reload   修改   cpu   ystemd   并发   

原文地址:http://blog.51cto.com/phospherus/2333950

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!