21.Kubernetes之ConfigMap

应用部署的一个最佳实践是将应用所需的配置信息于程序进行分离，这样可以使得应用程序被更好的复用，通过不用配置文件也能实现更灵活的功能。将应用打包为容器镜像后，可以通过环境变量或外挂文件的方式在创建容器时进行配置注入。ConfigMap是Kubernetes v1.2版本开始提供的一种统一集群配置管理方案。 　　

1、ConfigMap：容器应用的配置管理

容器使用ConfigMap的典型用法如下：

（1）生产为容器的环境变量。
（2）设置容器启动命令的启动参数（需设置为环境变量）。
（3）以Volume的形式挂载为容器内部的文件或目录。

ConfigMap以一个或多个key:value的形式保存在Kubernetes系统中共应用使用，既可以用于表示一个变量的值，也可以表示一个完整的配置文件内容。

通过yuaml配置文件或者直接使用kubelet create configmap 命令的方式来创建ConfigMap

2、创建ConfigMap资源、对象

1) 通过 yaml 配置文件方式创建

例1：下面的例子 cm-appvars.yaml描述了将几个应用所需的变量定义为 ConfigMap 的用法:

# vim cm-appvars.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: cm-appvars
data:
  apploglevel: info
  appdatadir:/var/data

执行kubectl create命令创建该ConfigMap

$ kubectl create -f cm-appvars.yaml
configmap "cm-appvars.yaml"created

查看创建好的 ConfigMap:

# kubectl get configmap
NAME DATA AGE 
cm-appvars 2  3s

查看描述：

# kubectl describe configmap cm-appvars
Name:         cm-appvars
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
appdatadir:
----
/var/data
apploglevel:
----
info
Events:  <none>

查看 yaml：

# kubectl get configmap cm-appvars -o yaml
apiVersion: v1
data:
  appdatadir: /var/data
  apploglevel: info
kind: ConfigMap
metadata:
  creationTimestamp: 2018-11-09T01:47:14Z
  name: cm-appvars
  namespace: default
  resourceVersion: "338011"
  selfLink: /api/v1/namespaces/default/configmaps/cm-appvars
  uid: 62177666-e3c1-11e8-aa71-340a985c23a9

例2：下面的例子cm-appconfigfile.yaml将两个配置文件server.xml和logging.properties定义为configmap的用法，设置key为配置文件的别名，value则是配置文件的文本的全部内容：

apiVersion: v1
kind: ConfigMap
metadata:
  name: cm-appvars
data:
  key-serverxml:
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
    <encoder charset="utf-8"> <!-- encoder 可以指定字符集，对于中文输出有意义 -->
        <!-- %.-1level 只显示信息级别的首字母,%-5level 左对齐显示信息级别全称 -->
        <!-- 如需自定义关键字，用 %mdc{键名} 表示,程序中用MDC.put("键名","键值")设置，可动态设置 [%logger:%line]-->
        <Pattern>[%date{yyyy-MM-dd HH:mm:ss}] [%-5level] %logger %line --%mdc{client} [%X{TRACE_LOG_ID}] %msg%n
        </Pattern>
    </encoder>
</appender>
  key-loggingproperties:
        java -Xms1024m -Xmx2048m -Xmn1536m -Xss256k -XX:MaxPermSize=128m -XX:+UseConcMarr
        kSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection -XXX
        :+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/tmp/jvm.log -XX:+HH
        eapDumpOnOutOfMemoryError -Dcom.sun.management.jmxremote -Dcom.sun.management.jmm
        xremote.port=4445 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management..
        jmxremote.authenticate=false -XX:HeapDumpPath=/tmp/heapdump.hprof -jar /data/appp
        deploy/$ENVIRONMENT/${PROJECT_JAR} >$jetty_log_path/$PROJECT_NAME.log

执行 kubectl create 命令创建该 Conf1gMap:

$kubectl create -f cm-appconfigfiles.yaml
configmap ”cm-appconfigfiles” created 

查看创建好的 ConfigMap:

# kubectl get configmap cm-appconfigfiles
NAME DATA AGE 
cm-appconfigfiles 2 14s

查看描述：

# kubectl describe configmap cm-appconfigfiles 
Name:         cm-appconfigfiles
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
key-loggingproperties:
----
java -Xms1024m -Xmx2048m -Xmn1536m -Xss256k -XX:MaxPermSize=128m -XX:+UseConcMarr kSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection -XXX :+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/tmp/jvm.log -XX:+HH eapDumpOnOutOfMemoryError -Dcom.sun.management.jmxremote -Dcom.sun.management.jmm xremote.port=4445 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.. jmxremote.authenticate=false -XX:HeapDumpPath=/tmp/heapdump.hprof -jar /data/appp deploy/$ENVIRONMENT/${PROJECT_JAR} >$jetty_log_path/$PROJECT_NAME.log
key-serverxml:
----
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder charset="utf-8"> <!-- encoder 可以指定字符集，对于中文输出有意义 --> <!-- %.-1level 只显示信息级别的首字母,%-5level 左对齐显示信息级别全称 --> <!-- 如需自定义关键字，用 %mdc{键名} 表示,程序中用MDC.put("键名","键值")设置，可动态设置 [%logger:%line]--> <Pattern>[%date{yyyy-MM-dd HH:mm:ss}] [%-5level] %logger %line --%mdc{client} [%X{TRACE_LOG_ID}] %msg%n</Pattern> </encoder> </appender>
Events:  <none>

查看己创建的 ConfigMap 的详细内容，可以看到两个配置文件的全文 :

# kubectl get configmap cm-appconfigfiles -o yaml
apiVersion: v1
data:
  key-loggingproperties: java -Xms1024m -Xmx2048m -Xmn1536m -Xss256k -XX:MaxPermSize=128m
    -XX:+UseConcMarr kSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection
    -XXX :+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/tmp/jvm.log
    -XX:+HH eapDumpOnOutOfMemoryError -Dcom.sun.management.jmxremote -Dcom.sun.management.jmm
    xremote.port=4445 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management..
    jmxremote.authenticate=false -XX:HeapDumpPath=/tmp/heapdump.hprof -jar /data/appp
    deploy/$ENVIRONMENT/${PROJECT_JAR} >$jetty_log_path/$PROJECT_NAME.log
  key-serverxml: <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
    <encoder charset="utf-8"> <!-- encoder 可以指定字符集，对于中文输出有意义 --> <!-- %.-1level 只显示信息级别的首字母,%-5level
    左对齐显示信息级别全称 --> <!-- 如需自定义关键字，用 %mdc{键名} 表示,程序中用MDC.put("键名","键值")设置，可动态设置 [%logger:%line]-->
    <Pattern>[%date{yyyy-MM-dd HH:mm:ss}] [%-5level] %logger %line --%mdc{client}
    [%X{TRACE_LOG_ID}] %msg%n</Pattern> </encoder> </appender>
kind: ConfigMap
metadata:
  creationTimestamp: 2018-11-09T02:14:33Z
  name: cm-appconfigfiles
  namespace: default
  resourceVersion: "340465"
  selfLink: /api/v1/namespaces/default/configmaps/cm-appconfigfiles
  uid: 32d3f97b-e3c5-11e8-aa71-340a985c23a9

2) 通过 kubelet 命令行方式创建

不使用 yaml 文件，直接通过kubectl create configmap也可以创建 ConfigMap，可以使用参数--from-file或--from-literal指定内容，并且可以在一行命令中指定多个参数。
(1) 通过--from-file参数从文件中进行创建，可以指定key的名称，也可以在一个命令行中创建包含多个 key 的 ConfigMap，语法为:

# kubectl create configmap NAME --from-file=[key=]source --from-file=[key=]source

(2)通过--from-file参数从目录中进行创建，该目录下的每个配置文件名都被设置为 key. 文件的内容被设置为 value，语法为 :

# kubectl create configmap NAME --from-file=config-files-dir

(3) --from-literal从文本中进行创建，直接将指定的key#=value#创建为ConfigMap的内容，语法为:

# kubectl create configmap NAME --from-literal=keyl=valuel --from-literal= key2=value2

下面对这几种用法举例说明。

1. 例如，当前目录下含有配置文件server.xml，可以创建一个包含该文件内容的 ConfigMap:

   # kubectl create confiqmap cm-server.xml --from-file=server.xml
   

2. 假设 configfiles 目录下包含两个配置文件 server.xml 和 logging.properties，创建一个包含这两个文件内容的 ConfigMap:

   # kubectl create configmap cm-appconf --from-file=configfiles
   

3. 使用 --from-literal 参数进行创建的示例如下:

   #kubectl create configmap cm-appenv --from-literal=loglevel=info --from-literal=appdatadir=/var/data
   

   查看

    kubectl describe configmap cm-appenv
    Name:         cm-appenv
    Namespace:    default
    Labels:       <none>
    Annotations:  <none>
   
    Data
    ====
    appdatadir:
    ----
    /var/data
    loglevel:
    ----
    info
    Events:  <none>
   

容器应用对 ConfigMap 的使用有以下两种方法。

1. 通过环境变量获取 ConfigMap 中的内容。
2. 通过 Volume 挂载的方式将 ConfigMap 中的内容挂载为容器内部的文件或目录。

3、在Pod中使用 ConfigMap

1) 通过环境变量方式使用 ConfigMap

以前面创建的 ConfigMap “cm-appvars”为例 :

# vim cm-appvars.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: cm-appvars
data:
  apploglevel: info
  appdatadir: /var/data

在 Pod “cm-test-pod”的定义中，将 ConfigMap “cm-appvars”中的内容以环境变量 (APPLOGLEVEL和APPDATADIR)设置为容器内部的环境变量，容器的启动命令将显示这两个环境变量的值(“env|grep APP”):

apiVersion: v1
kind: Pod
metadata:
  name: cm-test-pod
spec:
  containers:
  - name: cm-test
    image: busybox
    command: ["/bin/sh","-c","env|grep APP"]
    env:
    - name: APPLOGLEVEL             # 定义环境变量的名称
      valueFrom:                    # key "apploglevel" 对应的值
        configMapKeyRef:
          name: cm-appvars          # 环境变量的值取自 cm-appvars 中
          key: apploglevel          # key 为 "apploglevel"
    - name: APPDATADIR
      valueFrom:
        configMapKeyRef:
          name: cm-appvars
          key: appdatadir
  restartPolicy: Never

使用 kubectl create -f 命令创建该 Pod，由于是测试 Pod，所以该Pod在执行完启动命令后将会退出，井且不会被系统自动重启(restartPolicy=Never):

kubectl create -f cm-test-pod.yaml
pod ” cm-test-pod” created

使用kubectl get pods --show-all查看己经停止的 Pod:

kubectl get pods --show-all
Flag --show-all has been deprecated, will be removed in an upcoming release
NAME                                      READY     STATUS      RESTARTS   AGE
cm-test-pod                               0/1       Completed   0          4m

查看该 Pod 的日志，可以看到启动命令 env | grep APP 的执行结果如下:

kubectl logs cm-test-pod
APPDATADIR=/var/data
APPLOGLEVEL=info

说明容器内部的环境变量使用 ConfigMap cm-appvars 中的值进行了正确的设置。

从 Kubernetes vl.6 开始，引入了一个新的字段 envFrom，实现在 Pod 环境内将 ConfigMap (也可用于 Secret 资源对象〉中所有定义的key=value自动生成为环境变量:

apiVersion: v1
kind: Pod
metadata:
  name: cm-test-pod-env
spec:
  containers:
    - name: cm-test
      image: busybox
      command: ["/bin/sh","-c","env"]
      envFrom:
      - configMapRef:
         name: cm-appvars   # 根据 cm-appvars 中的 key=value 自动生成环境变量
  restartPolicy: Never

通过这个定义，在容器内部将会生成如下环境变量:

# kubectl logs cm-test-pod-env
apploglevel=info
appdatadir=/var/data

需要说明的是 ，环境变量的名称受 POSIX 命名规范([a-zA-Z][a-zA-Z0-9]*)约束 ，不能以数字开头。如果包含非法字符，则系统将跳过该条环境变量的创建，并记录一个 Event 来描 述环境变量无法生成，但并不阻止 Pod 的启动。

2)通过 volumeMount 使用 ConfigMap

在pod "cm-test-app"定义中，将configmap "cm-appconfigfile"中的内容以文件形式mount到容器内部configfiles目录中。

Pod配置文件cm-test-app.yaml内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: cm-test-app
spec:
  containers:
  - name: cm-test-app
    image: kubeguide/tomcat-app:v1
    ports:
    - containerPort: 8080
    volumeMounts:
    - name: serverxml                             # 引用volume名
      mountPath: /configfiles                     # 挂载到容器内部目录
  volumes:
    - name: serverxml
      configMap:
        name: cm-appconfigfiles                  # 使用configmap定义的的cm-appconfigfile
        items:
        - key: key-serverxml                    # 将key=key-serverxml
          path: server.xml                      # value将server.xml文件名进行挂载
        - key: key-loggingproperties            # 将key=key-loggingproperties
          path: logging.properties              # value将logging.properties文件名进行挂载

创建该Pod：

#kubectl create -f cm-test-app.yaml
Pod "cm-test-app"created　　

登录容器查看configfiles目录下的server.xml和logging.properties文件，他们的内容就是configmap “cm-appconfigfile”中定义的两个key的内容

# kubectl exec -ti cm-test-app -- bash

# cat /configfiles/server.xml
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder charset="utf-8"> <!-- encoder 可以指定字符集，对于中文输出有意义 --> <!-- %.-1level 只显示信息级别的首字母,%-5level 左对齐显示信息级别全称 --> <!-- 如需自定义关键字，用 %mdc{键名} 表示,程序中用MDC.put("键名","键值")设置，可动态设置 [%logger:%line]--> <Pattern>[%date{yyyy-MM-dd HH:mm:ss}] [%-5level] %logger %line --%mdc{client} [%X{TRACE_LOG_ID}] %msg%n</Pattern> </encoder> </appender>root@cm-test-app:/usr/local/tomcat# 

# cat /configfiles/logging.properties 
java -Xms1024m -Xmx2048m -Xmn1536m -Xss256k -XX:MaxPermSize=128m -XX:+UseConcMarr kSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection -XXX :+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/tmp/jvm.log -XX:+HH eapDumpOnOutOfMemoryError -Dcom.sun.management.jmxremote -Dcom.sun.management.jmm xremote.port=4445 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.. jmxremote.authenticate=false -XX:HeapDumpPath=/tmp/heapdump.hprof -jar /data/appp deploy/$ENVIRONMENT/${PROJECT_JAR} >$jetty_log_path/$PROJECT_NAME.log

如果在引用 ConfigMap 时不指定 items，则将使用 volumeMount 方式在容器内的目录中为每个item生成一个文件名为key的文件。

Pod配置文件cm-test-app2.yaml内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: cm-test-app2
spec:
  containers:
  - name: cm-test-app2
    image: kubeguide/tomcat-app:v1
    ports:
    - containerPort: 8080
    volumeMounts:
    - name: serverxml                          # 引用volume名
      mountPath: /configfiles                  # 挂载到容器内部目录
  volumes:
  - name: serverxml                            # 定义 volume 名
    configMap:
      name: cm-appconfigfiles                  # 使用configmap定义的的cm-appconfigfile

创建该Pod：

#kubectl create -f cm-test-app2.yaml
Pod "cm-test-app2"created　　

登录容器，查看到/configfiles目录下存在key-loggingproperties和key-serverxml文件，文件的名称来自 ConfigMap cm-appconfigfiles 中定义的两个key
的名称，文件的内容则为 value 的内容:

# ls /configfiles
key-loqqingproperties key-serverxml

使用ConfigMap的条件限制

• configmap必须在pod之间创建
• configmap也可以定义为属于某个Namespace，只有处于相同namespaces中的pod可以引用
• configmap中配额管理还未能实现
• kubelet只支持可以被API Server管理的Pod使用ConfigMap。kubelet在本Node上通过--manifest-url或--config自动创建的静态 Pod 将无法引用 Conf1gMap。
• 在 Pod 对 ConfigMap进行挂载(volumeMount)操作时，容器内部只能挂载为“目录”， 无法挂载为“文件”。在挂载到容器内部后，目录中将包含 ConfigMap 定义的每个item,如果该目录下原来还有其他文件，则容器内的该目录将会被挂载的 ConfigMap 覆盖。 如果应用程序需要保留原来的其他文件，则需要进行额外的处理。可以将 ConfigMap 挂载到容器内部的临时目录，再通过启动脚本将配置文件复制或者链接到( cp 或 link 命令)应用所用的实际配置目录下。