标签:clust pod 注意 无法 增加 配置 mil mysql rac
最近刚给公司测试环境上了K8s,大部分容器采用得是以alpine为基础的镜像,基础服务如MySQL、Redis等以域名的方式连接,但是出现一个很奇怪的现象,部分Pod内应用报DNS超时,大概报错日志是这样的(JAVA):io.netty.resolver.dns.DnsNameResolverTimeoutException: [/10.96.0.10:53] query timed out after 5000 milliseconds (no stack trace available) lifecycle:
postStart:
exec:
command:
- /bin/sh
- -c
- "/bin/echo ‘options single-request-reopen‘ >> /etc/resolv.conf"
注意:这里不能直接使用sed替换,会报错。
还是无效
重新理清思路,会不会是自动生成的/etc/resolv.conf有问题,造成DNS不正常,查看Pod的/etc/resolv.conf,原始文件内容如下:
nameserver 10.96.0.10
search test1.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
尝试ping test1.svc.cluster.local
ping svc.cluster.local
ping cluster.local
发现后两个根本无法ping通,难道这两个搜索域引起DNS超时,于是决定试试不使用默认生成的/etc/resolv.conf,自己写,查看K8s官方文档,原来官方就提供类似配置,在YAML的spec段加入如下配置:
dnsPolicy: "None"
dnsConfig:
nameservers:
- 10.96.0.10
searches:
- test1.svc.cluster.local
options:
- name: single-request-reopen
注意nameservers为kube-dns的ClusterIP,searches(搜索域)根据你的实际环境配置
生成的/etc/resolv.conf如下:
nameserver 10.96.0.10
search test1.svc.cluster.local
options single-request-reopen
尝试多次删除Pod,创建Pod,问题不再复现,原来罪魁祸首就出在resolv.conf的搜索域配置中,具体原理等以后有空再去研究一下,最近没时间:)
标签:clust pod 注意 无法 增加 配置 mil mysql rac
原文地址:https://blog.51cto.com/kusorz/2387623