码迷，mamicode.com
首页 > 其他好文 > 详细

k8s部署环境

时间：2019-12-20 01:24:01      阅读：305      评论：0      收藏：0      [点我收藏+]

标签：sysconf   防火   rtp   yml   出错   内存   sources   alpha   独立   

k8s部署环境

  • 公有云环境：AWS、腾讯云、阿里云等等
  • 私有云：OpenStack、vSphere等
  • Baremetal环境：物理服务器或独立虚拟机（底层没有云环境）。

  

k8s部署方式

  • Minikube：Kubernetes官网提供的微型分布式环境，适合学习、初次体验，不过应该需要梯子才能用。

  • Kubeadm：由于二进制部署方式过于复杂，所以后来出现了Kubeadm的部署方式，这种方式其实是将k8s的各组件容器化了。注意，使用容器方式部署Master节点各组件时，需要安装kubelet和docker组件去实例化容器。这种方式有些缺点：

    • 这些运行容器所需要的部分镜像在gcr.io（谷歌的镜像站）上，你懂得，架梯子才能访问。
    • k8s集群内部通信采用的是TLS认证机制，但是内部都内网通信，所以一般采用自建CA，此种方式部署，其中的证书不是自己签的，所以搞不好啥时候就过期了，所以生产环境不适用
    • 不支持Master节点高可用，一旦Master节点挂了，容器管理怎么办？监控、故障恢复谁处理？
  • 二进制部署：相对复杂，生产环境适用。将重要组件以守护进程的方式部署
  • 还有一些云厂商专有的部署方式，如kops，这里就不一一介绍了。

  • 二次封装的k8s发行版

    • Rancher：Rancher Labs基于k8s的二次封装发行版。
    • Tectonic：CoreOS公司基于k8s的二次封装发行版。
    • Openshift：Redhat基于k8s的二次封装发行版，只留下k8s的成熟功能，部署更加便捷，需要有ansible基础。相比较知名的发行版就是Rancher和Openshift

  

k8s部署要点

  • 测试环境

    • 单Master，单etcd
    • Node节点随意。
    • NFS存储

  • 生产环境

    • 高可用Master，高可用etcd，至少三个。

      • kube-apiserver是无状态的，可以配置多实例。利用nginx或者haproxy做反代，并借助keepalived实现冗余。
      • kube-scheduler和kube-controller-manager各自只能有一个活动实例（同时几个scheduler去掉都同一个Pod，听谁的。），但是可以建多个实例备用。他们自带leader选举功能，且默认开启此功能。
    • 多Node主机，数量越多，冗余能力越强。

    • ceph或glusterfs等分布式存储

  • 主机环境预设

    • 如果有条件，最好搭建一个内网ntp服务，用来同步时间
    • 配置好各节点间的hosts解析
    • 禁用防火墙和Selinux，防止混淆
    • 各节点禁用swap，使用swap虽然暂时能节省一些物理内存，但也会造成性能下降。安装时会自动检查此项，不禁用会导致安装出错，不过也有参数可以忽略。。。

  

kubeadm部署k8s

  • 主机规划
主机名IP角色环境
k8s-m1 192.168.2.124 控住节点 Centos 7.6，配置最少2核CPU，2G内存
k8s-n1 192.168.2.244 数据节点 Centos 7.6

 

  • 准备工作（所有节点）

 1. 我没有搭建自己的ntp，就用个定时任务替代了吧。

[root@k8s-m1 ~]# crontab -l 
# time sync
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null

 2. 配置主机名解析

[root@k8s-m1 ~]# tail -3 /etc/hosts
192.168.2.124 k8s-m1
192.168.2.244 k8s-n1

 3. 关闭防火墙和selinux

[root@k8s-m1 ~]# systemctl stop firewalld.service
[root@k8s-m1 ~]# systemctl disable firewalld.service
[root@k8s-m1 ~]# sed -i.bak ‘s#SELINUX=enforcing#SELINUX=disabled#g‘ /etc/selinux/config
[root@k8s-m1 ~]# setenforce 0

 4. 禁用swap，默认情况下系统的swap都是打开的。

# 我在自己电脑上创建的虚拟机做的实验，资源有限，这里就不禁用swap了。emmmm....禁用命令如下：
[root@k8s-m1 ~]# swapoff -a
# 上面只是临时生效，永久生效把fstab文件中所有的swap条目注释掉。
[root@k8s-m1 ~]# cat /etc/fstab | grep swap
#UUID=0226cdc9-a352-4779-bffb-13e6b794e98b swap                    swap    defaults        0 0

 5. 设置开机自动启用ipvs内核模块
  Node节点中的kube-proxy支持iptables和ipvs两种模式。从v1.2版本开始，iptables就作为kube-proxy的默认操作模式，v1.8引入了ipvs模式，v1.11可以正式使用。iptables和ipvs都是基于netfilter安全框架，相比iptables来说，ipvs能够为大型集群提供了更好的扩展性和性能，并且可以支持更加复杂的负载均衡算法。ipvs依赖于iptables，咱先把准备工作做好，用不用再说。

vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bash

ipvs_dir=‘/usr/lib/modules/`uname -r`/kernel/net/netfilter/ipvs‘
for m in `ls $ipvs_dir | grep -o ^[^.]*`
do
  /sbin/modinfo -F filename $m &>/dev/null
  if [ $? -eq 0 ];then
    /sbin/modprobe $m
  fi
done
# 加载模块的脚本先写好，放在开机自动加载的modules目录中，但是先不要给执行权限，咱现在还用不到。

 6. 配置免密传输文件。此步骤可选，我为了拷贝东西方便。

[root@k8s-m1 ~]# cd /server/scripts/
[root@k8s-m1 scripts]# yum -y install sshpass
[root@k8s-m1 scripts]# vim batch.sh
#!/bin/bash

rm -rf /root/.ssh/id_dsa*
ssh-keygen -t dsa -f /root/.ssh/id_dsa -P ‘‘ -q

for ip in $*
do
  sshpass -p 123456 ssh-copy-id -i /root/.ssh/id_dsa.pub -o StrictHostKeyChecking=no 10.0.0.$ip &>/dev/null
  echo -e "\n\033[32m-----主机10.0.0.$ip公钥分发完成-----\033[0m\n"
done
[root@k8s-m1 scripts]# sh batch.sh 20 21 22
[root@k8s-m1 scripts]# cd
  • 安装程序（所有节点）

 1. 安装docker

[root@k8s-m1 ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@k8s-m1 ~]# yum -y install docker-ce
# docker自1.13版本起，启动后会默认会把防火墙的FORWARD策略改为DROP，这可能会影响k8s集群的报文转发功能，所以我们需要将FORWARD链的默认策略改为ACCEPT。
[root@k8s-m1 ~]# vim /usr/lib/systemd/system/docker.service。
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT  # 当docker启动后额外执行此条命令。此行加到ExecStart行下面。
[root@k8s-m1 ~]# systemctl daemon-reload
[root@k8s-m1 ~]# systemctl start docker
[root@k8s-m1 ~]# systemctl enable docker
# 使用docker info命令有报告警信息，这里如若放任不管，后面集群初始化和node节点加入集群都会报错。
[root@k8s-m1 ~]# docker info
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
# 使用下面命令可以看到这俩个参数我们确实没有开启
[root@k8s-m1 ~]# sysctl -a | grep bridge
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
[root@k8s-m1 ~]# vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@k8s-m1 ~]# sysctl -p /etc/sysctl.d/k8s.conf 
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

 2. 配置k8s的yum仓库，并安装相关程序。仓库的配置方法可以在阿里云镜像仓库上的kubernetes目录的帮助中查看。

# 阿里云镜像站的Kubernetes项目下el7目录中只有一个repodata，这种方式表明里面的程序包是按照当前状态构建生成的，不能够直接下载，只能本地配置yum仓库。
[root@k8s-m1 ~]# vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
[root@k8s-m1 ~]# yum makecache
[root@k8s-m1 ~]# yum -y install kubeadm-1.15.2 kubectl-1.15.2 kubelet-1.15.2
[root@k8s-m1 ~]# systemctl start kubelet.service
[root@k8s-m1 ~]# systemctl enable kubelet.service
  • 修改配置并初始化集群（master节点）

 1. 修改配置文件，即便检测到swap没有禁用，也不报错。

root@k8s-m1 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"

 2. kubeadm命令使用

[root@k8s-m1 ~]# kubeadm --help
Usage:
  kubeadm [command]
Available Commands:
  alpha            # 处于测试中不太完善的命令
  config            # 显示当前配置
  init                 # 初始化集群
  join                # 各Node节点加入集群中时使用
  reset              # 每个节点都可以用，把配置还原到最初始的状态。
  upgrade         # 升级集群的版本。
# print参数也是有子命令的，使用下面命令可以查看集群初始化时的预设配置，其中一些与我们真实环境不匹配，可以在初始化时手动指定修改。
[root@k8s-m1 ~]# kubeadm config print init-defaults     # 下面只截取部分配置
imageRepository: k8s.gcr.io         # 默认加载镜像的仓库，需要梯子才能访问，如果知道国内别的仓库有需要的镜像，初始化时可以手动指定仓库地址。
kind: ClusterConfiguration
kubernetesVersion: v1.15.2          # k8s版本，这是初始化会加载的配置，如果与你预期的版本不符，自行修改。
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12       # Service网络默认地址。
scheduler: {}
# 至于Pod网络，k8s只提供了CNI，真正实现网络通信，需要借助第三方插件，如flannel、calico，两者都蛮火的，不过它们的默认网络地址不同。flannel的默认地址是10.244.0.0/16，calico的默认地址是192.168.0.0/16。如果不使用默认地址，则在部署网路插件时指定的网络地址要与k8s部署时指定的Pod网络地址一致。

 3. 拉取镜像，并进行k8s集群初始化

# 使用命令行参数。指定kubernetes版本与前面下载kubeadm等程序版本一致；使用flannel插件，所以先指定网络地址；指定忽略Swap的错误检查，注意大小写；最后使用--dry-run参数测试能否执行成功
[root@k8s-m1 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --ignore-preflight-errors=Swap --dry-run
[root@k8s-m1 ~]# echo $?
0
# 测试是没有问题的，因为还么有开始拉镜像，如果去掉--dry-runde参数执行，就会报如下错误：访问不了gcr.io。
[ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.15.2: output: Error response from daemon: Get https://k8s.gcr.io/v2/: proxyconnect tcp: dial tcp 218.255.73.143:80: connect: connection refused, error: exit status 1
# 前面说过，kubeadm部署的k8s需要用到的镜像有一部分在k8s.gcr.io上，因为某种不可描述的原因导致我们拉取不到，所以只能找找国内的资源，可以先看看kubeadm需要哪些镜像。
[root@k8s-m1 ~]# kubeadm config images list
W0812 14:25:08.711840    4589 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)   # 访问不到grc.io
W0812 14:25:08.711926    4589 version.go:99] falling back to the local client version: v1.15.2  # 本地客户端版本
k8s.gcr.io/kube-apiserver:v1.15.2
k8s.gcr.io/kube-controller-manager:v1.15.2
k8s.gcr.io/kube-scheduler:v1.15.2
k8s.gcr.io/kube-proxy:v1.15.2
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
# 手动下载镜像，然后修改tag
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-apiserver:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-controller-manager-amd64:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-scheduler-amd64:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-proxy:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/pause:3.1
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/etcd:3.3.10
[root@k8s-m1 ~]# docker pull coredns/coredns:1.3.1
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-apiserver:v1.15.2 k8s.gcr.io/kube-apiserver:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-controller-manager-amd64:v1.15.2 k8s.gcr.io/kube-controller-manager:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-scheduler-amd64:v1.15.2 k8s.gcr.io/kube-scheduler:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-proxy:v1.15.2 k8s.gcr.io/kube-proxy:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/etcd:3.3.10  k8s.gcr.io/etcd:3.3.10
[root@k8s-m1 ~]# docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
# 删除掉不用的镜像，最终如下：
[root@k8s-m1 ~]# docker images
REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
k8s.gcr.io/kube-apiserver            v1.15.2             34a53be6c9a7        6 days ago          207MB
k8s.gcr.io/kube-proxy                v1.15.2             167bbf6c9338        6 days ago          82.4MB
k8s.gcr.io/kube-scheduler            v1.15.2             38d61dd6e105        3 weeks ago         81.1MB
k8s.gcr.io/kube-controller-manager   v1.15.2             575346c7506b        3 weeks ago         159MB
k8s.gcr.io/coredns                   1.3.1               eb516548c180        7 months ago        40.3MB
k8s.gcr.io/etcd                      3.3.10              2c4adeb21b4f        8 months ago        258MB
k8s.gcr.io/pause                     3.1                 da86e6ba6ca1        19 months ago       742kB
# 开始执行初始化操作。如果初始化出错，可以使用kubeadm reset命令删除初始化过程产生的文件，重置到初始状态。
[root@k8s-m1 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --service-cidr="10.96.0.0/12" --apiserver-advertise-address="0.0.0.0" --ignore-preflight-errors=Swap
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:        # 以普通用户执行下面命令

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.            # 提示需要安装网络插件
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.2.124:6443 --token a6o1sb.30kajnbrq83qnr8r     --discovery-token-ca-cert-hash sha256:f46d7a79ec6e939c44a4c0425c892fa9ee816012ef2f675ac36002b2473210e3        # Node节点加入集群的命令，注意保存。
# 此处为了方便就直接用root用户进行操作了。
[root@k8s-m1 ~]# mkdir -p $HOME/.kube
[root@k8s-m1 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-m1 ~]# chown $(id -u):$(id -g) $HOME/.kube/config     # 管理员下此步骤可省略
# 查看集群当前的状态
[root@k8s-m1 ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-0               Healthy   {"health":"true"}
# 查看集群版本
[root@k8s-m1 ~]# kubectl version --short=true
Client Version: v1.15.2
Server Version: v1.15.2
# 查看集群信息
[root@k8s-m1 ~]# kubectl cluster-info
Kubernetes master is running at https://192.168.2.124:6443
KubeDNS is running at https://192.168.2.124:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use ‘kubectl cluster-info dump‘.
# config的配置文件是一定要有的，没有的话，kubectl get nodes命令就执行不了，注意配置文件一定不能泄露。node上也有此命令，但是不能执行get的操作，因为apiserver监听在master的6443的端口，除非你master节点的配置文件拷贝到node上，否则node执行kubectl get nodes就只会找本机的8080，这是没有结果的。
[root@k8s-m1 ~]# netstat -lntp | grep -i apiserve
tcp6       0      0 :::6443                 :::*                    LISTEN      16341/kube-apiserve
[root@k8s-m1 ~]# kubectl config view | grep server
    server: https://192.168.2.124:6443
[root@k8s-n1 ~]# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?
# 现在只有一个master节点，状态是未就绪，需要部署网络插件。
[root@k8s-m1 ~]# kubectl get nodes
NAME       STATUS     ROLES    AGE   VERSION
k8s-m1   NotReady   master   18m   v1.15.2

 4. 部署flannel网络插件，部署的命令在GitHub页面搜索"Deploying flannel manually"就可以找到。

[root@k8s-m1 ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 安装完看下Pod的运行状态
[root@k8s-m1 ~]# kubectl get pods
No resources found.
# 没有找到是因为集群本身是被划分为多个名称空间的， kubectl get pods命令默认查的是default名称空间
[root@k8s-m1 ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   14m
kube-node-lease   Active   15m
kube-public       Active   15m
kube-system       Active   15m
# 使用-n的参数指定查找名称空间下的Pod。flannel插件到running的状态取决于网速
[root@k8s-m1 ~]# kubectl get pods -n kube-system
NAME                             READY   STATUS    RESTARTS   AGE
coredns-5c98db65d4-mzw28         1/1     Running   0          14m
coredns-5c98db65d4-zl5cs         1/1     Running   0          14m
etcd-k8s-m1                      1/1     Running   0          13m
kube-apiserver-k8s-m1            1/1     Running   0          13m
kube-controller-manager-k8s-m1   1/1     Running   0          13m
kube-flannel-ds-amd64-qd5js      1/1     Running   0          112s
kube-proxy-9p5qd                 1/1     Running   0          14m
kube-scheduler-k8s-m1            1/1     Running   0          13m
[root@k8s-m1 ~]# kubectl get nodes
NAME     STATUS   ROLES    AGE   VERSION
k8s-m1   Ready    master   15m   v1.15.2
# 这些组件都是以Pod的方式启动，可以查看本机启动的容器，名字都是以Pod开头的。
[root@k8s-m1 ~]# docker ps -a
  • 配置Node节点加入到k8s集群（所有Node节点）

 1. 修改配置文件。

root@k8s-n1 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"

 2. node节点加入集群时，也是需要容器方式启动一些组件的，这里你就直接从k8s-m1导出再导入到node节点。

 

技术图片技术图片技术图片技术图片技术图片技术图片技术图片技术图片技术图片技术图片技术图片技术图片

k8s部署环境

标签：sysconf   防火   rtp   yml   出错   内存   sources   alpha   独立   

原文地址：https://www.cnblogs.com/ededdgg/p/12070999.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！