k8s中helm安装部署，升级和回滚（chart，helm，tiller，StorageClass）

时间：2020-03-03 09:17:30 阅读：422 评论：0 收藏：0 [点我收藏+]

标签：verify profile llb 装包 auth eth 公司 rbac subject

一、Helm介绍

helm是基于kubernetes 的包管理器。它之于 kubernetes 就如 yum 之于 centos，pip 之于 python，npm 之于 javascript

那 helm 的引入对于管理集群有哪些帮助呢？

更方便地部署基础设施，如 gitlab，postgres，prometheus，grafana 等
更方便地部署自己的应用，为公司内部的项目配置 Chart，使用 helm 结合 CI，在 k8s 中部署应用一行命令般简单

1、Helm用途

Helm把Kubernetes资源(比如deployments、services或 ingress等) 打包到一个chart中，而chart被保存到chart仓库。通过chart仓库可用来存储和分享chart。Helm使发布可配置，支持发布应用配置的版本管理，简化了Kubernetes部署应用的版本控制、打包、发布、删除、更新等操作。

做为Kubernetes的一个包管理工具，用来管理charts——预先配置好的安装包资源，有点类似于Ubuntu的APT和CentOS中的yum。

Helm具有如下功能：

创建新的chart
chart打包成tgz格式
上传chart到chart仓库或从仓库中下载chart
在Kubernetes集群中安装或卸载chart
管理用Helm安装的chart的发布周期

使用Helm可以完成以下事情：

管理Kubernetes manifest files
管理Helm安装包charts
基于chart的Kubernetes应用分发

2、Helm组件及相关术语

开始接触Helm时遇到的一个常见问题就是Helm中的一些概念和术语非常让人迷惑，我开始学习Helm就遇到这个问题。

因此我们先了解一下Helm的这些相关概念和术语。

包管理工具:

Helm: Kubernetes的应用打包工具，也是命令行工具的名称。
Helm CLI：是 Helm 客户端，可以在本地执行
Tiller: Helm的服务端，部署在Kubernetes集群中，用于处理Helm的相关命令。

helm的作用：像centos7中的yum命令一样，管理软件包，只不过helm这儿管理的是在k8s上安装的各种容器。

tiller的作用：像centos7的软件仓库一样，简单说类似于/etc/yum.repos.d目录下的xxx.repo。
Repoistory: Helm的软件仓库，repository本质上是一个web服务器，该服务器保存了chart软件包以供下载，并有提供一个该repository的chart包的清单文件以供查询。在使用时，Helm可以对接多个不同的Repository。
Charts：是一个Helm的程序包，它包含了运行一个kubernetes应用程序所需要的镜像、依赖关系和资源定义等。
Release：应用程序运行Charts之后，得到的一个实例。

需要特别注意的是， Helm中提到的Release和我们通常概念中的版本有所不同，这里的Release可以理解为Helm使用Chart包部署的一个应用实例。

其实Helm中的Release叫做Deployment更合适。估计因为Deployment这个概念已经被Kubernetes使用了，因此Helm才采用了Release这个术语。

命令介绍

http://hub.kubeapps.com/

completion  # 为指定的shell生成自动完成脚本（bash或zsh）
create      # 创建一个具有给定名称的新 chart
delete      # 从 Kubernetes 删除指定名称的 release
dependency  # 管理 chart 的依赖关系
fetch       # 从存储库下载 chart 并（可选）将其解压缩到本地目录中
get         # 下载一个命名 release
help        # 列出所有帮助信息
history     # 获取 release 历史
home        # 显示 HELM_HOME 的位置
init        # 在客户端和服务器上初始化Helm
inspect     # 检查 chart 详细信息
install     # 安装 chart 存档
lint        # 对 chart 进行语法检查
list        # releases 列表
package     # 将 chart 目录打包成 chart 档案
plugin      # 添加列表或删除 helm 插件
repo        # 添加列表删除更新和索引 chart 存储库
reset       # 从集群中卸载 Tiller
rollback    # 将版本回滚到以前的版本
search      # 在 chart 存储库中搜索关键字
serve       # 启动本地http网络服务器
status      # 显示指定 release 的状态
template    # 本地渲染模板
test        # 测试一个 release
upgrade     # 升级一个 release
verify      # 验证给定路径上的 chart 是否已签名且有效
version     # 打印客户端/服务器版本信息
dep         # 分析 Chart 并下载依赖

3、组件架构

技术图片

Helm Client 是用户命令行工具，其主要负责如下：

本地 chart 开发
仓库管理
与 Tiller sever 交互
发送预安装的 chart
查询 release 信息
要求升级或卸载已存在的 release

Tiller Server是一个部署在Kubernetes集群内部的 server，其与 Helm client、Kubernetes API server 进行交互。Tiller server 主要负责如下：

监听来自 Helm client 的请求
通过 chart 及其配置构建一次发布
安装 chart 到Kubernetes集群，并跟踪随后的发布
通过与Kubernetes交互升级或卸载 chart
简单的说，client 管理 charts，而 server 管理发布 release

helm客户端

helm客户端是一个命令行工具，负责管理charts、reprepository和release。它通过gPRC API（使用kubectl port-forward将tiller的端口映射到本地，然后再通过映射后的端口跟tiller通信）向tiller发送请求，并由tiller来管理对应的Kubernetes资源。

tiller服务端

tiller接收来自helm客户端的请求，并把相关资源的操作发送到Kubernetes，负责管理（安装、查询、升级或删除等）和跟踪Kubernetes资源。为了方便管理，tiller把release的相关信息保存在kubernetes的ConfigMap中。
tiller对外暴露gRPC API，供helm客户端调用。

4、工作原理

Chart Install 过程：

Helm从指定的目录或者tgz文件中解析出Chart结构信息
Helm将指定的Chart结构和Values信息通过gRPC传递给Tiller
Tiller根据Chart和Values生成一个Release
Tiller将Release发送给Kubernetes运行。

Chart Update过程：

Helm从指定的目录或者tgz文件中解析出Chart结构信息
Helm将要更新的Release的名称和Chart结构，Values信息传递给Tiller
Tiller生成Release并更新指定名称的Release的History
Tiller将Release发送给Kubernetes运行

Chart Rollback

helm将会滚的release名称传递给tiller
tiller根据release名称查找history
tiller从history中获取到上一个release
tiller将上一个release发送给kubernetes用于替换当前release

Chart处理依赖

Tiller 在处理 Chart 时，直接将 Chart 以及其依赖的所有 Charts 合并为一个 Release，同时传递给 Kubernetes。因此 Tiller 并不负责管理依赖之间的启动顺序。Chart 中的应用需要能够自行处理依赖关系。

二、安装部署helm工具（客户端）

技术图片

前提要求

Kubernetes1.5以上版本
集群可访问到的镜像仓库
执行helm命令的主机可以访问到kubernetes集群

（1）下载helm的包

[root@master ~]#docker pull gcr.io/kubernetes-helm/tiller:v2.14.3
[root@master ~]# wget https://get.helm.sh/helm-v2.14.3-linux-amd64.tar.gz

（2）把helm包的命令，复制到本地

[root@master helm]# mv linux-amd64/helm /usr/local/bin/
//移动命令目录到/usr/local/bin/
[root@master helm]# chmod +x /usr/local/bin/helm 
//给予执行权限
[root@master helm]# helm help
//验证是否安装成功

（3）设置命令自动补全

[root@master helm]#  echo ‘source <(helm completion bash)‘ >> /etc/profile
[root@master helm]# . /etc/profile
//刷新一下

2、安装Tiller server（服务端，需要创建授权用户）

[root@master ~]# vim tiller-rbac.yaml   #创建授权用户
apiVersion: v1
kind: ServiceAccount
metadata:
  name: tiller
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: tiller
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
  - kind: ServiceAccount
    name: tiller
    namespace: kube-system

执行一下

[root@master ~]# kubectl apply -f tiller-rbac.yaml

（1）Tiller server的环境初始化

[root@master helm]# helm init  --service-account=tiller
//helm的服务端就是Tiller（因为是访问外国的网站，可能需要多次执行）

查看一下

[root@master helm]# kubectl get deployment. -n kube-system

技术图片

现在发现没有开启，那是因为默认下载的Google的镜像，下载不下来

（2）设置镜像源改为阿里云的

[root@master helm]# helm repo add stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

查看一下

[root@master helm]# helm version

技术图片

3、部署一个实例helm install + charts -n Release名称。

1、关于这个Release的描述。

2、关于这个Release资源的描述。

3、怎么使用这个Release。

（1）Helm部署安装一个Mysql服务。

[root@master ~]# helm search mysql
//查看关于mysqk的Charts包

技术图片

[root@master ~]# helm install stable/mysql -n mysql 
//基于stable/mysql包安装一个名为MySQL的服务

查看一下

[root@master ~]# helm list

技术图片

（2）Charts包解压过后的目录:

[root@master ~]# cd .helm/cache/archive
//查看helm缓存
[root@master archive]# ls

技术图片

[root@master mysql]# helm fetch stable/mysql
//直接下载stable/mysql的chart包
[root@master archive]# tar -zxf mysql-0.3.5.tgz 
//解压一下MySQL包
[root@master archive]# tree -C mysql 
//树状图查看解压出来的mysql目录，-C:显示颜色

技术图片

Chart.yaml：这个chart包的概要信息。（name和version 这两是必填项，其他可选。）

README md：是这个chart包的一个使用帮助文档。

templates：chart包内各种资源对象的模板。

deployment.yaml：deployment 控制器的 Go 模板文件

helpers.tpl：以 开头的文件不会部署到 k8s 上，可用于定制通用信息

NOTES.txt：Chart 部署到集群后的一些信息

service.yaml：service 的 Go 模板文件

values.yaml：是这个chart包的默认的值，可以被templet内的yaml文件使用。

（3）Helm部署安装-个Mysql服务。

[root@master ~]# docker pull mysql:5.7.14
[root@master ~]# docker pull mysql:5.7.15
[root@master ~]# docker pull busybox:1.25.0
下载所需的mysql镜像
[root@master ~]# helm delete mysql --purge 
//删除之前的MySQL服务并清除缓存

（4）设置共享目录

[root@master ~]# yum -y install rpcbind nfs-utils
//安装nfs
[root@master ~]# mkdir /data
//创建共享目录
[root@master ~]# vim /etc/exports
/data *(rw,sync,no_root_squash)
//设置共享目录权限
[root@master ~]# systemctl restart rpcbind
[root@master ~]# systemctl restart nfs-server
//重启nfs服务

测试一下
[root@master ~]# showmount -e

技术图片

（5）创建pv

[root@master xgp]# vim nfs-pv1.yml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysqlpv
spec:
  capacity:
    storage: 8Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  nfs:
    path: /data/mysqlpv
    server: 192.168.1.21
[root@master xgp]# mkdir /data/mysqlpv
//创建所需目录

执行一下

[root@master xgp]# kubectl apply -f nfs-pv1.yml

查看一下

[root@master xgp]# kubectl get pv

技术图片

（6）创建一个mysql服务

[root@master xgp]# helm install stable/mysql -n bdqn-mysql --set mysqlRootPassword=123.com

查看一下

[root@master xgp]# kubectl get pod

技术图片

（7）进入pod并查看一下

[root@master xgp]# kubectl exec -it bdqn-mysql-mysql-7b89c7b99-8ff2r -- mysql -u root -p123.com
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.01 sec)

4、mysql服务的升级与回滚

（1）mysql服务的升级

[root@master mysql]# helm upgrade --set imageTag=5.7.15 bdqn-mysql stable/mysql -f values.yaml

查看一下

[root@master mysql]# kubectl get deployments. -o wide

技术图片

（2）mysql服务的回滚

[root@master mysql]#  helm history bdqn-mysql
//查看历史版本

技术图片

回滚到版本一

[root@master mysql]# helm rollback bdqn-mysql 1

查看一下

[root@master mysql]# kubectl get deployments. -o wide

技术图片

三、小实验

在部署mysql的时候，如何开启storageclass，以及如何将service资源对象的类型更改为NodePort, 如何使用?

将上述部署的实例进行升级回滚操作。升级的时候镜像改为： mysql:5.7.15版本。回滚到最初的版本。

1、基于NFS服务，创建NFS服务。

下载nfs所需安装包

[root@node02 ~]# yum -y install nfs-utils  rpcbind

创建共享目录

[root@master ~]# mkdir -p /xgp/wsd

创建共享目录的权限

[root@master ~]# vim /etc/exports
/xgp *(rw,sync,no_root_squash)

开启nfs和rpcbind（三台都要）

[root@master ~]# systemctl start nfs-server.service 
[root@master ~]# systemctl start rpcbind

测试一下

[root@master ~]# showmount -e

技术图片

2、创建StorageClass资源对象。

（1）创建rbac权限。

[root@master yaml]# vim rbac.yaml 
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-provisioner
  namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-provisioner-runner
  namespace: default
rules:
   -  apiGroups: [""]
      resources: ["persistentvolumes"]
      verbs: ["get", "list", "watch", "create", "delete"]
   -  apiGroups: [""]
      resources: ["persistentvolumeclaims"]
      verbs: ["get", "list", "watch", "update"]
   -  apiGroups: ["storage.k8s.io"]
      resources: ["storageclasses"]
      verbs: ["get", "list", "watch"]
   -  apiGroups: [""]
      resources: ["events"]
      verbs: ["watch", "create", "update", "patch"]
   -  apiGroups: [""]
      resources: ["services", "endpoints"]
      verbs: ["get","create","list", "watch","update"]
   -  apiGroups: ["extensions"]
      resources: ["podsecuritypolicies"]
      resourceNames: ["nfs-provisioner"]
      verbs: ["use"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-provisioner
    namespace: default        #必写字段
roleRef:
  kind: ClusterRole
  name: nfs-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

执行一下

[root@master yaml]# kubectl apply -f rbac.yaml

（2）创建Deployment资源对象，用Pod代替真正的NFS服务。

[root@master yaml]# vim nfs-deployment.yaml 
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccount: nfs-provisioner
      containers:
        - name: nfs-client-provisioner
          image: registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner
          volumeMounts:
            - name: nfs-client-root
              mountPath:  /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: xgp
            - name: NFS_SERVER
              value: 192.168.1.21
            - name: NFS_PATH
              value: /xgp/wsd
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.1.21
            path: /xgp/wsd

执行一下

[root@master yaml]# kubectl apply -f nfs-deployment.yaml

查看一下

[root@master yaml]# kubectl get pod

技术图片

（3）创建storageclass的yaml文件

[root@master yaml]# vim xgp-storageclass.yaml 
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: xgp-nfs
provisioner: xgp  #通过provisioner字段关联到上述Deploy
reclaimPolicy: Retain

执行一下

[root@master yaml]# kubectl apply -f test-storageclass.yaml

查看一下

[root@master yaml]# kubectl get sc

技术图片

3、创建一个mysql服务

[root@master ~]# docker pull mysql:5.7.14
[root@master ~]# docker pull mysql:5.7.15
[root@master ~]# docker pull busybox:1.25.0
//下载所需镜像
[root@master yaml]# helm fetch stable/mysql
//直接下载stable/mysql的chart包
[root@master yaml]# tar -zxf mysql-0.3.5.tgz 
//解压mysql包
[root@master yaml]# cd mysql/
[root@master mysql]# vim values.yaml 
//修改values.yaml文件，添加storageClass存储卷和更改svc的模式为NodePort

技术图片

[root@master mysql]# helm install stable/mysql -n xgp-mysql --set mysqlRootPassword=123.com -f values.yaml 
//基于values.yaml和stable/mysql开启一个密码为123.com的mysqlpod

查看一下

[root@master mysql]# kubectl get svc

技术图片

[root@master mysql]# kubectl get pod -o wide

技术图片

4、进入pod并查看一下

[root@master mysql]#  kubectl exec -it xgp-mysql-mysql-67c6fb5f9-dn7s2 -- mysql -u root -p123.com
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.01 sec)

5、mysql服务的升级与回滚

（1）mysql服务的升级

[root@master mysql]# helm upgrade --set imageTag=5.7.15 xgp-mysql stable/mysql -f values.yaml

查看一下

[root@master mysql]# kubectl get deployments. -o wide

技术图片

（2）服务的回滚

[root@master mysql]#  helm history xgp-mysql
//查看历史版本

技术图片

回滚到版本一

[root@master mysql]# helm rollback xgp-mysql 1

查看一下

[root@master mysql]# kubectl get deployments. -o wide

技术图片

6、进入pod并查看一下

[root@master mysql]#  kubectl exec -it xgp-mysql-mysql-67c6fb5f9-dn7s2 -- mysql -u root -p123.com
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.01 sec)

四、总结

Helm作为kubernetes应用的包管理以及部署工具，提供了应用打包，发布，版本管理以及部署，升级，回退等功能。Helm以Chart软件包的形式简化Kubernetes的应用管理，提高了对用户的友好性。

使用心得

helm 客户端的功能非常简单，直接参考官网文档即可。

列一下相关使用心得：

Helm 的所有功能都是围绕着 chart、release 和 repository 的；
仅初始化客户端相关配置且仅建立本地仓库，可执行 helm init --client-only --skip-refresh；
查找 chart 的方式是通过 HELM_HOME（默认是 ~/.helm 目录）下的 repositories 目录进行的，几个重要文件或目录为 cache、repositories/cache；
修改 chart index.yaml 的 url，可执行 helm serve --url http://demo.com 来重新 reindex；
依赖关系管理，requirements定义，子 chart 值定义；
install 、 update 的方式管理不方便，这样需要维护 chart 的版本关系，集成 install 和 update ，组成类似 k8s 中的 apply 命令；
package 命令 -u 可以更新依赖，建议推到 repositiories 前先 package ，否则后期可能出现依赖检测不全的错误；
release 相关的信息存储在 k8s 的 configmap 中，命名形式为 release_name.v1 的格式。 rollback 相关功能就是通过存储在 configmap 中的信息进行回滚的；
Helm 客户端与 k8s 中的 TillerServer 是通过 k8s 提供的 port-forward 来实现的，而 port-forward 需要在指定节点上部署 socat；
TillerServer 可以不部署在 k8s 中，此时 Helm 客户端需要通过 HELM_HOST 环境变量来指定 TillerServer 的地址和端口；
建议 TillerServer 部署在 k8s 中，既然 Helm 为 CNCF 的一员，那么就尽量把云原生做到极致吧；
写 chart 时多参考官方最佳实践，The Chart Best Practices Guide；

不足

Helm 虽然提供了 install、update 命令来安装或更新对应的 release，但这给使用者带来了需要维护 release 状态的压力。举个例子，在还没安装 release 之前，release 是不存在的，update 操作是会失败的。反之已经存在的 release，install 操作也会失败。其实大部分情况下我是不需要知道 release 的状态的，不管它存在还是不存在，我执行的命令就是我希望的意图，我希望 release 能成为我执行命令后的状态。这一点上 k8s 的 apply 命令就非常好，不需要用户来维护资源的状态。

k8s中helm安装部署，升级和回滚（chart，helm，tiller，StorageClass）

标签：verify profile llb 装包 auth eth 公司 rbac subject

原文地址：https://blog.51cto.com/14320361/2475004

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行

k8s中helm安装部署，升级和回滚（chart，helm，tiller，StorageClass）

1、Helm用途

Helm具有如下功能：

使用Helm可以完成以下事情：

2、Helm组件及相关术语

包管理工具:

命令介绍

3、组件架构

helm客户端

tiller服务端

4、工作原理

Chart Install 过程：

Chart Update过程：

Chart Rollback

Chart处理依赖

二、安装部署helm工具（客户端）

前提要求

（1）下载helm的包

（2）把helm包的命令，复制到本地

（3）设置命令自动补全

2、安装Tiller server（服务端，需要创建授权用户）

执行一下

（1）Tiller server的环境初始化

查看一下

（2）设置镜像源改为阿里云的

查看一下

3、部署一个实例helm install + charts -n Release名称。

（1）Helm部署安装一个Mysql服务。

查看一下

（2）Charts包解压过后的目录:

（3）Helm部署安装-个Mysql服务。

（4）设置共享目录

（5）创建pv

执行一下

查看一下

（6）创建一个mysql服务

查看一下

（7）进入pod并查看一下

4、mysql服务的升级与回滚

（1）mysql服务的升级

查看一下

（2）mysql服务的回滚

回滚到版本一

查看一下

三、小实验

1、基于NFS服务，创建NFS服务。

2、创建StorageClass资源对象。

（1）创建rbac权限。

执行一下

（2）创建Deployment资源对象，用Pod代替 真正的NFS服务。

执行一下

查看一下

（3）创建storageclass的yaml文件

执行一下

查看一下

3、创建一个mysql服务

查看一下

4、进入pod并查看一下

5、mysql服务的升级与回滚

（1）mysql服务的升级

查看一下

（2）服务的回滚

回滚到版本一

查看一下

6、进入pod并查看一下

四、总结

使用心得

不足

（2）创建Deployment资源对象，用Pod代替真正的NFS服务。