码迷，mamicode.com
首页 > Web开发 > 详细

kubernets轻量 contain log 日志收集技巧

时间：2018-07-28 11:58:17      阅读：346      评论：0      收藏：0      [点我收藏+]

标签：ova   health   .json   nis   10.10   html   eal   ecc   network   

首先这里要收集的日志是容器的日志，而不是集群状态的日志

 

要完成的三个点，收集，监控，报警，收集是基础，监控和报警可以基于收集的日志来作，这篇主要实现收集

 

不想看字的可以直接看代码，一共没几行，尽量用调用本地方法实现，有工夫的可以改写成shell脚本

https://github.com/cclient/kubernetes-filebeat-collector

官方的收集方案

https://kubernetes.io/docs/tasks/debug-application-cluster/logging-elasticsearch-kibana/

 

一些基础的总结方案,文章时间比较早

https://jimmysong.io/kubernetes-handbook/practice/app-log-collection.html

 

官方的方案限制较多，因各种原因放弃

文内的原因是

```

Kubernetes官方提供了EFK的日志收集解决方案，但是这种方案并不适合所有的业务场景，它本身就有一些局限性，例如：

  • 所有日志都必须是out前台输出，真实业务场景中无法保证所有日志都在前台输出
  • 只能有一个日志输出文件，而真实业务场景中往往有多个日志输出文件
  • Fluentd并不是常用的日志收集工具，我们更习惯用logstash，现使用filebeat替代
  • 我们已经有自己的ELK集群且有专人维护，没有必要再在kubernetes上做一个日志收集服务

基于以上几个原因，我们决定使用自己的ELK集群。

```

个人不采用官方收集的原因基本类似，既要收集out前台输出，也要收集映射目录的多个输出文件，个人也不喜欢Fluentd，太重，整体较封闭。

 

基本实现方式

编号方案优点缺点
1 每个app的镜像中都集成日志收集组件 部署方便，kubernetes的yaml文件无须特别配置，可以为每个app自定义日志收集配置 强耦合，不方便应用和日志收集组件升级和维护且会导致镜像过大
2 单独创建一个日志收集组件跟app的容器一起运行在同一个pod中 低耦合，扩展性强，方便维护和升级 需要对kubernetes的yaml文件进行单独配置，略显繁琐
3 将所有的Pod的日志都挂载到宿主机上，每台主机上单独起一个日志收集Pod 完全解耦，性能最高，管理起来最方便 需要统一日志收集规则，目录和输出方式

文内的需求选择的是方案2

 

文内和我的需有区别，但不管需求如何

 

方案1，2都引入了更多的复杂度，需要较多的额外工作，区别只是引入时机，1是build image时和2是deploy时

 

1,2从设计上就可以排除,太不优雅,以开发语言来说，侵入性太高，3是类似aop性质的能减少侵入，只有在3难以实现的情况下才考虑，实际上3并不难实现，早前纯docker集群就部署过类似的方案，稍改改就能适用于kubernetes

 

而且这些方案的设计，都只考虑到了，收集的是自定义日志文件，映射外部目录下的文件，不论在容器内，容器外读取，都只监听相应目录下的文件，都不收集 docker 默认的json file，即 docker logs --tail 100 -f contain_name 这类日志的数据

 

docker logs 操作上比较方便,早先设计docker 日志收集时，虽官方支持不少日志插件

因为`The docker logs command is not available for drivers other than json-file and journald.`

https://docs.docker.com/config/containers/logging/configure/#supported-logging-drivers

 

过去一直采用默认的json-file，收集时，直接监听 /var/lib/docker/containers/*/*-json.log

 

早期文件日志收集采用过logstash,修改数据比Fluentd方便，日志收集，没有太多的修改过滤需求，可以切到更轻量的filebeat。

 

但缺点也很明显，这些日志只是容器的日志，日志本身并不含有容器的相关信息，一种实现应用时就把应用信息写到日志里，虽然没有容器信息，应用信息也足够识别。这些实际也引入项目开发的侵入性。

 

实际上，docker早期就有基本的容器信息，我们只要把这个容器信息，在收集时，附加到原始日志中即可。

 

很多人想到附加信息，会考虑从kube-api,或是从etcd读取，这样复杂度过高，基本都放弃了。

 

实际上，docker 包括contain 在内都可以附加 lable 信息，而这些都可直接从本地文件读取 

 

https://docs.docker.com/config/labels-custom-metadata/#key-format-recommendations

 

kuberetes 不支持为contain打label,但官方自已会加上一部分，这些lable基本够用了。

 

需求和简介描述完毕，以下是实现

 

看一眼config文件即知道实现方式,docker版本不同，文件名可能不一样，印象里早期版本是config.json，内容也没现在的全，早期版本不保证适用本文内容

 

cat /var/lib/docker/containers/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f/config.v2.json
 
caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f是容器id，了解docker 应该知道 docker ps 第一列就是这个id的首几位，随便输一个本机的即可
技术分享图片 
{
    "StreamConfig": {},
    "State": {
        "Running": true,
        "Paused": false,
        "Restarting": false,
        "OOMKilled": false,
        "RemovalInProgress": false,
        "Dead": false,
        "Pid": 15201,
        "ExitCode": 0,
        "Error": "",
        "StartedAt": "2018-07-23T00:51:31.821704515Z",
        "FinishedAt": "2018-07-23T00:51:31.573484432Z",
        "Health": null
    },
    "ID": "caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f",
    "Created": "2018-07-20T09:05:21.881001304Z",
    "Managed": false,
    "Path": "/app/app",
    "Args": [],
    "Config": {
        "Hostname": "consume-577cd986c7-8mk4h",
        "Domainname": "",
        "User": "0",
        "AttachStdin": false,
        "AttachStdout": false,
        "AttachStderr": false,
        "Tty": false,
        "OpenStdin": false,
        "StdinOnce": false,
        "Env": [
            "KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443",
            "TUICE_PERSONAL_WECHAT_PORT_8883_TCP_PORT=8883",
            "KUBERNETES_SERVICE_HOST=10.96.0.1",
            "KUBERNETES_PORT=tcp://10.96.0.1:443",
            "TUICE_PERSONAL_WECHAT_PORT=tcp://10.109.89.240:8883",
            "TUICE_PERSONAL_WECHAT_PORT_8883_TCP=tcp://10.109.89.240:8883",
            "KUBERNETES_SERVICE_PORT=443",
            "KUBERNETES_SERVICE_PORT_HTTPS=443",
            "KUBERNETES_PORT_443_TCP_PORT=443",
            "KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1",
            "TUICE_PERSONAL_WECHAT_PORT_8883_TCP_ADDR=10.109.89.240",
            "KUBERNETES_PORT_443_TCP_PROTO=tcp",
            "TUICE_PERSONAL_WECHAT_SERVICE_HOST=10.109.89.240",
            "TUICE_PERSONAL_WECHAT_SERVICE_PORT=8883",
            "TUICE_PERSONAL_WECHAT_SERVICE_PORT_SERVER=8883",
            "TUICE_PERSONAL_WECHAT_PORT_8883_TCP_PROTO=tcp",
            "PATH=/go/bin:/usr/local/go/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
            "GOLANG_VERSION=1.8",
            "GOLANG_SRC_URL=https://golang.org/dl/go1.8.src.tar.gz",
            "GOLANG_SRC_SHA256=406865f587b44be7092f206d73fc1de252600b79b3cacc587b74b5ef5c623596",
            "GOPATH=/app",
            "RUN=pro"
        ],
        "Cmd": null,
        "Healthcheck": {
            "Test": [
                "NONE"
            ]
        },
        "Image": "hub.docker.admaster.co/social_base/consume@sha256:483cd48b4b1e2ca53846f11fe953695bcceea59542b77f09044d30644cf3235f",
        "Volumes": null,
        "WorkingDir": "/app",
        "Entrypoint": [
            "/app/app"
        ],
        "OnBuild": null,
        "Labels": {
            "annotation.io.kubernetes.container.hash": "e1a52ef6",
            "annotation.io.kubernetes.container.restartCount": "0",
            "annotation.io.kubernetes.container.terminationMessagePath": "/dev/termination-log",
            "annotation.io.kubernetes.container.terminationMessagePolicy": "File",
            "annotation.io.kubernetes.pod.terminationGracePeriod": "30",
            "io.kubernetes.container.logpath": "/var/log/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/consume/0.log",
            "io.kubernetes.container.name": "consume",
            "io.kubernetes.docker.type": "container",
            "io.kubernetes.pod.name": "consume-577cd986c7-8mk4h",
            "io.kubernetes.pod.namespace": "default",
            "io.kubernetes.pod.uid": "00bea8a1-8bfc-11e8-b709-f01fafd51338",
            "io.kubernetes.sandbox.id": "fda1d939f5b41e31ca5c5214b4d78b38691d438eeb52d22d4460d49a2a820c1f"
        }
    },
    "Image": "sha256:85c9ca987b6fd310ce1019c28031b670da4d6705e70f1807f17727d48aa4aef4",
    "NetworkSettings": {
        "Bridge": "",
        "SandboxID": "",
        "HairpinMode": false,
        "LinkLocalIPv6Address": "",
        "LinkLocalIPv6PrefixLen": 0,
        "Networks": null,
        "Service": null,
        "Ports": null,
        "SandboxKey": "",
        "SecondaryIPAddresses": null,
        "SecondaryIPv6Addresses": null,
        "IsAnonymousEndpoint": false,
        "HasSwarmEndpoint": false
    },
    "LogPath": "/var/lib/docker/containers/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f-json.log",
    "Name": "/k8s_consume_consume-577cd986c7-8mk4h_default_00bea8a1-8bfc-11e8-b709-f01fafd51338_0",
    "Driver": "overlay",
    "MountLabel": "",
    "ProcessLabel": "",
    "RestartCount": 0,
    "HasBeenStartedBefore": true,
    "HasBeenManuallyStopped": false,
    "MountPoints": {
        "/app/conf": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~configmap/conf",
            "Destination": "/app/conf",
            "RW": false,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Relabel": "ro",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~configmap/conf",
                "Target": "/app/conf",
                "ReadOnly": true
            }
        },
        "/dev/termination-log": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/containers/consume/fc3f9ebf",
            "Destination": "/dev/termination-log",
            "RW": true,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/containers/consume/fc3f9ebf",
                "Target": "/dev/termination-log"
            }
        },
        "/etc/hosts": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/etc-hosts",
            "Destination": "/etc/hosts",
            "RW": true,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/etc-hosts",
                "Target": "/etc/hosts"
            }
        },
        "/var/log/contain": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3",
            "Destination": "/var/log/contain",
            "RW": true,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3",
                "Target": "/var/log/contain"
            }
        },
        "/tmp/nbbsdownload": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3-6",
            "Destination": "/tmp/nbbsdownload",
            "RW": true,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3-6",
                "Target": "/tmp/nbbsdownload"
            }
        },
        "/var/run/secrets/kubernetes.io/serviceaccount": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~secret/default-token-g6gr9",
            "Destination": "/var/run/secrets/kubernetes.io/serviceaccount",
            "RW": false,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Relabel": "ro",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~secret/default-token-g6gr9",
                "Target": "/var/run/secrets/kubernetes.io/serviceaccount",
                "ReadOnly": true
            }
        }
    },
    "SecretReferences": null,
    "AppArmorProfile": "",
    "HostnamePath": "/var/lib/docker/containers/fda1d939f5b41e31ca5c5214b4d78b38691d438eeb52d22d4460d49a2a820c1f/hostname",
    "HostsPath": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/etc-hosts",
    "ShmPath": "/var/lib/docker/containers/fda1d939f5b41e31ca5c5214b4d78b38691d438eeb52d22d4460d49a2a820c1f/shm",
    "ResolvConfPath": "/var/lib/docker/containers/fda1d939f5b41e31ca5c5214b4d78b38691d438eeb52d22d4460d49a2a820c1f/resolv.conf",
    "SeccompProfile": "unconfined",
    "NoNewPrivileges": false
}
View Code

 

如果是k8s启动的contain,会有k8s相应的lable,应用这部分数据

{
            "annotation.io.kubernetes.container.hash": "e1a52ef6",
            "annotation.io.kubernetes.container.restartCount": "0",
            "annotation.io.kubernetes.container.terminationMessagePath": "/dev/termination-log",
            "annotation.io.kubernetes.container.terminationMessagePolicy": "File",
            "annotation.io.kubernetes.pod.terminationGracePeriod": "30",
            "io.kubernetes.container.logpath": "/var/log/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/consume/0.log",
            "io.kubernetes.container.name": "consume",
            "io.kubernetes.docker.type": "container",
            "io.kubernetes.pod.name": "consume-577cd986c7-8mk4h",
            "io.kubernetes.pod.namespace": "default",
            "io.kubernetes.pod.uid": "00bea8a1-8bfc-11e8-b709-f01fafd51338",
            "io.kubernetes.sandbox.id": "fda1d939f5b41e31ca5c5214b4d78babcd1d438eeb52d22d4460d49a2a820c1f"
}

docker的原始日志json file 文件 是

/var/lib/docker/containers/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f-json.log

 

收集这个文件，再把label里的相应数据加上，就是k8s的容器日志了，说穿了很简单，只是很多人不清楚这几个文件的存在罢了。

 

这里收集的是docker out的日志，另一种普遍的作法是，映射一个本地路径，把文件写在这个目录下。

在容器内执行，收集容器内路径下的日志，或在宿主机执行，收集容器外路径下的日志。

 

这里最好能和docker out的收集方式统一，用两套完全不可接受

 

实际实现也很简单，以上的信息里还有这一部分

{
        "/var/log/contain": {
            "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3",
            "Destination": "/var/log/contain",
            "RW": true,
            "Name": "",
            "Driver": "",
            "Type": "bind",
            "Propagation": "rprivate",
            "Spec": {
                "Type": "bind",
                "Source": "/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3",
                "Target": "/var/log/contain"
            }
        }
}

这里mount的映射信息，

/var/log/contain是容器内路径，
/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3是宿主机路径

把这个

/var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3目录也加到收集监控里便ok了

 

思路已经通了

最后我们要的是类似这样的一个配置文件（不论是不是filebeat，需要的数据就是这些）

 

补充一点，看下方输出就明白

 ls -alh /var/log/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/consume/0.log
lrwxrwxrwx 1 root root 165 Jul 20 17:05 /var/log/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/consume/0.log -> /var/lib/docker/containers/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f-json.log
 
filebeat.inputs:
- type: log
  paths:
    - /var/lib/docker/containers/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f/caed8938198152778e3715f4bd3c00795f40c812d2cdb87dadfe8b0bb058390f-json.log
    - /var/lib/kubelet/pods/00bea8a1-8bfc-11e8-b709-f01fafd51338/volumes/kubernetes.io~local-volume/pv-3/*.log
  fields:
    namespace: "default"
    name: "consume"
    pod_name: "consume-577cd986c7-8mk4h"
output.elasticsearch:
  hosts: ["localhost:9200"]
setup.kibana:
  host: "localhost:5601"

 

定时扫描/var/lib/docker/containers/,读取每个contain的config.v2.json,构造配置文件，启动收集进程

 

因为contain id包含hash值，同名冲突的概率几乎0零，因此也不用考虑任何冲突的问题，每个k8s node独立部署一个脚本即可。

 

目前实现的方式是用脚本加定时器，实时性稍微差了些，够用了，有工夫的可以优化成文件监听。

kubernets轻量 contain log 日志收集技巧

标签：ova   health   .json   nis   10.10   html   eal   ecc   network   

原文地址：https://www.cnblogs.com/zihunqingxin/p/9380509.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！