使用envoy在k8s中作grpc的负载均衡

时间：2020-05-22 18:52:30 阅读：89 评论：0 收藏：0 [点我收藏+]

标签：cat stat protocol 指标 mba 地址 tar meta oca

1. 为我们的应用创建headless服务

在Kubernetes中，有一种称为headless服务的特定服务，恰好与Envoy的STRICT_DNS服务发现模式一起使用时非常方便。

Headless服务不会为底层Pod提供单个IP和负载平衡，而只是具有DNS配置，该配置为我们提供了一个A记录，其中包含与标签选择器匹配的所有Pod的Pod IP地址。我们希望在实现负载平衡并自己维护与上游Pod的连接的情况下使用此服务类型，这正是我们使用Envoy可以做到的。

我们可以通过将.spec.clusterIP字段设置为“None”来创建headless服务。因此，假设我们的应用程序pod的标签app的值为myapp，我们可以使用以下yaml创建headless服务。

现在，如果我们在Kubernetes集群中检查服务的DNS记录，我们将看到带有IP地址的单独的A记录。如果我们有3个Pod，则会看到与此类似的DNS摘要。

$ nslookup myapp 
Server: 10.40.0.10 
Address: 10.40.0.10#53 

Non-authoritative answer: 
Name: myapp.namespace.svc.cluster.local Address: 10.36.224.5 
Name: myapp.namespace.svc.cluster.local Address: 10.38.187.17 
Name: myapp.namespace.svc.cluster.local Address: 10.38.1.8

Envoy的STRICT_DNS服务发现的工作方式是，它维护DNS返回的所有A记录的IP地址，并且每隔几秒钟刷新一次IP组。

2. 创建Envoy镜像

Dockerfile

FROM envoyproxy/envoy:latest

COPY envoy.yaml /tmpl/envoy.yaml.tmpl
COPY docker-entrypoint.sh /

RUN chmod 500 /docker-entrypoint.sh

RUN apt-get update &&     apt-get install gettext -y &&     rm -rf /var/lib/apt/list/* &&     rm -rf /var/cache/apk/*

ENTRYPOINT ["/docker-entrypoint.sh"]

docker-entrypoint.sh

#!/bin/sh
set -e

echo "Generating envoy.yaml config file..."
cat /tmpl/envoy.yaml.tmpl | envsubst \$ENVOY_LB_ALG,\$SERVICE_NAME,\$SERVICE_PORT > /etc/envoy.yaml

echo "Starting Envoy..."
/usr/local/bin/envoy -c /etc/envoy.yaml

envoy.yaml

static_resources:
  listeners:
  - address:
      socket_address:
        address: 0.0.0.0
        port_value: ${SERVICE_PORT}
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.config.filter.network.http_connection_manager.v2.HttpConnectionManager
          codec_type: auto
          stat_prefix: ingress_http
          access_log:
          - name: envoy.access_loggers.file
            typed_config:
              "@type": type.googleapis.com/envoy.config.accesslog.v2.FileAccessLog
              path: "/dev/stdout"
          route_config:
            name: local_route
            virtual_hosts:
            - name: backend
              domains:
              - "*"
              routes:
              - match:
                  prefix: "/" 
                  grpc: {}
                route:
                  cluster: backend_grpc_service
          http_filters:
          - name: envoy.filters.http.router
            typed_config: {}
  clusters:
  - name: backend_grpc_service
    connect_timeout: 0.250s
    type: strict_dns
    lb_policy: round_robin
    http2_protocol_options: {}
    load_assignment:
      cluster_name: backend_grpc_service
      endpoints:
      - lb_endpoints:
        - endpoint:
            address:
              socket_address:
                address: ${SERVICE_NAME}
                port_value: ${SERVICE_PORT}

3. 创建Envoy deployment

最后，我们必须为Envoy本身创建一个部署。

service.yaml

{
  "kind": "Service",
  "apiVersion": "v1",
  "metadata": {
    "name": "myapp-envoy-service",
    "labels": {
      "app": "myapp-envoy-service"
    }
  },
  "spec": {
    "ports": [
      {
        "name": "grpc",
        "protocol": "TCP",
        "port": 82,
        "targetPort": 82
      }
    ],
    "selector": {
      "app": "myapp-envoy"
    },
    "type": "ClusterIP",
    "sessionAffinity": "None"
  },
  "status": {
    "loadBalancer": {}
  }
}

deployment.yaml

{
  "kind": "Deployment",
  "apiVersion": "extensions/v1beta1",
  "metadata": {
    "name": "myapp-envoy",
    "labels": {
      "app": "myapp-envoy"
    },
    "annotations": {
      "deployment.kubernetes.io/revision": "1"
    }
  },
  "spec": {
    "replicas": 1,
    "selector": {
      "matchLabels": {
        "app": "myapp-envoy"
      }
    },
    "template": {
      "metadata": {
        "creationTimestamp": null,
        "labels": {
          "app": "myapp-envoy"
        }
      },
      "spec": {
        "containers": [
          {
            "name": "myapp-envoy",
            "image": "****/envoy:latest",
            "ports": [
              {
                "name": "http",
                "containerPort": 82,
                "protocol": "TCP"
              },
              {
                "name": "envoy-admin",
                "containerPort": 8881,
                "protocol": "TCP"
              }
            ],
            "env": [
              {
                "name": "ENVOY_LB_ALG",
                "value": "LEAST_REQUEST"
              },
              {
                "name": "SERVICE_NAME",
                "value": "myapp2-service"
              },
              {
                "name": "SERVICE_PORT",
                "value": "82"
              }
            ],
            "resources": {},
            "terminationMessagePath": "/dev/termination-log",
            "terminationMessagePolicy": "File",
            "imagePullPolicy": "IfNotPresent"
          }
        ],
        "restartPolicy": "Always",
        "terminationGracePeriodSeconds": 30,
        "dnsPolicy": "ClusterFirst",
        "securityContext": {}
        ],
        "schedulerName": "default-scheduler"
      }
    },
    "strategy": {
      "type": "RollingUpdate",
      "rollingUpdate": {
        "maxUnavailable": 1,
        "maxSurge": 1
      }
    },
    "revisionHistoryLimit": 2147483647,
    "progressDeadlineSeconds": 2147483647
  }
}

仅当我们使Envoy Docker镜像可参数化时，才需要env变量。

Apply此Yaml后，Envoy代理应该可以运行，并且您可以通过将请求发送到Envoy服务的主端口来访问基础服务。

故障排除和监视

在Envoy配置文件中，您可以看到admin：部分，用于配置Envoy的管理端点。可用于检查有关代理的各种诊断信息。

如果您没有发布admin端口的服务，默认情况下为9901，您仍然可以通过端口转发到带有kubectl的容器来访问它。假设其中一个Envoy容器称为myapp-envoy-656c8d5fff-mwff8，那么您可以使用命令kubectl port-forward myapp-envoy-656c8d5fff-mwff8 9901开始端口转发。然后您可以访问http://localhost:9901上的页面。

一些有用的端点：

/config_dump：打印代理的完整配置，这对于验证正确的配置是否最终在Pod上很有用。
/clusters：显示Envoy发现的所有上游节点，以及为每个上游节点处理的请求数。例如，这对于检查负载平衡算法是否正常工作很有用。

进行监视的一种方法是使用Prometheus从代理pods获取统计信息。 Envoy对此提供了内置支持，Prometheus统计信息在管理端口上的/ stats/prometheus路由上发布。

您可以从该存储库下载可视化这些指标的Grafana仪表板，这将为您提供以下图表。

技术图片

关于负载均衡算法

负载平衡算法会对集群的整体性能产生重大影响。对于需要均匀分配负载的服务（例如，当服务占用大量CPU并很容易超载时），使用最少请求算法可能是有益的。另一方面，最少请求的问题在于，如果某个节点由于某种原因开始发生故障，并且故障响应时间很快，那么负载均衡器会将不成比例的大部分请求发送给故障节点，循环负载均衡算法不会有问题。

我使用dummy API进行了一些基准测试，并比较了轮询和最少请求LB算法。事实证明，最少的请求可以带来整体性能的显着提高。

我使用不断增加的输入流量对API进行了约40分钟的基准测试。在整个基准测试中，我收集了以下指标：