标签:效率 ESS 字段 分析 res box emctl 日志信息 ast
一、Job概述一)、Job负责处理短暂的一次性任务,即仅执行一次的任务,它保证批处理任务的一个或多个pod成功结束。今天介绍另外?类资源对象:Job,我们在日常的工作中经常都会遇到?些需要进行批量数据处理和分析的需求,当然也会有按时间来进行调度的?作,Kubernetes 集群中为我们提供了 Job 和 CronJob 两种资源对象来应对这种需求。
* Job 负责处理任务,即仅执??次的任务,它保证批处理任务的?个或多个 Pod 成功结束。
* CronJob 则就是在 Job 上加上了时间调度。
Kubernetes支持以下几种Job:
* 非并行Job:通常创建一个Pod直到其成功结束;
* 固定结束次数的Job:在spec字段下添加completions字段。创建多个Pod,直到满足completions规定的数值。如果不添加的话,默认情况下是1个;
* 带有工作队列的并行Job:在spec字段下添加Parallelism字段。表示几个job同时并行工作。如果不添加的话,默认情况下是1个;
根据可以设置completions字段、Parallelism字段,可以将Job分为以下几种:
二)、Job Controller
Job Controller负责根据Job yaml文件中Spec字段定义的内容创建Pod,并持续监控Job的状态,直至其成功结束。如果失败,则根据restartPolicy(只支持OnFailure和Never,不支持Always)决定是否创建新的pod再次重试任务。
如图:
三)、应用示例
示例:
[root@master job]# cat job.yaml
kind: Job
apiVersion: batch/v1
metadata:
name: test-job
spec:
template:
metadata:
name: test-job
spec:
containers:
- name: hello
image: busybox
command: ["echo","hello k8s job"]
restartPolicy: Never
[root@master job]# kubectl apply -f job.yaml //生成Job资源
[root@master job]# kubectl get job //查看Job
NAME COMPLETIONS DURATION AGE
test-job 1/1 2s 5s
[root@master job]# kubectl get pod -o wide //查看Job运行的详细信息
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
test-job-rq9ws 0/1 Completed 0 25s 10.244.1.15 node01 <none> <none>
[root@master job]# kubectl logs test-job-rq9ws //查看通过Job生成的Pod的日志信息
hello k8s job
[root@master job]# kubectl delete jobs test-job
//删除Job,那么对应的pod也会被删除!
注:如果容器内执行任务有误,会根据容器的重启策略操作容器,不过这里的容器重启策略只能是: Never和 OnFailure。
四)、提高Job的执行效率
* 我们可以在Job.spec字段下加上parallelism选项。表示同时运行多少个Pod执行任务。
* 我们可以在Job.spec字段下加上completions选项。表示总共需要完成Pod的数量。
* 举例将上述Job任务进行更改。提示,更改Job任务的时候,需要先将原来的Job资源对象删除
示例:
[root@master job]# cat job.yaml
kind: Job
apiVersion: batch/v1
metadata:
name: test-job
spec:
parallelism: 2
completions: 10
template:
metadata:
name: test-job
spec:
containers:
- name: hello
image: busybox
command: ["echo","hello k8s job"]
restartPolicy: Never
[root@master job]# kubectl apply -f job.yaml
[root@master job]# kubectl get job
NAME COMPLETIONS DURATION AGE
test-job 10/10 7s 15s
//可以看出是运行了10个任务
查看Job运行的详细信息,如图:
示例:
[root@master job]# cat job.yaml
kind: Job
apiVersion: batch/v1
metadata:
name: test-job
spec:
backoffLimit: 5
activeDeadlineSeconds: 100
template:
metadata:
name: test-job
spec:
containers:
- name: hello
image: busybox
command: ["echddddddo","hello k8s job"]
restartPolicy: Never
[root@master job]# kubectl apply -f job.yaml
[root@master job]# kubectl get job
NAME COMPLETIONS DURATION AGE
test-job 0/1 2m28s 2m28s
[root@master job]# kubectl get pod
NAME READY STATUS RESTARTS AGE
test-job-4lzsc 0/1 ContainerCannotRun 0 111s
test-job-8q659 0/1 ContainerCannotRun 0 2m42s
test-job-hjjbx 0/1 ContainerCannotRun 0 2m41s
test-job-qcf4z 0/1 ContainerCannotRun 0 2m31s
这个示例可以看出:
* CronJob即定时任务,类似于Linux系统中的crontab,在指定的时间周期运行指定的任务。
* CronJob yaml文件中的spec字段下的schedule是用来定义的时间间隔的,其用法与crontab一样(分、时、日、月、周);
jobTemplate字段指定需要运行的任务;
* 在kubernetes 1.15中,使用CronJob需要使用API的batch/v2alpha1这个版本,但是,kubernetes本身并没有这个版本,如下:
在kubernetes 1.15中,使用CronJob需要使用API的batch/v2alpha1这个版本,但是,kubernetes本身并没有这个版本,如下:
[root@master job]# kubectl api-versions | grep batch/v2alpha1
需要进行以下操作使Kubernetes群集支持这个batch/v2alpha1版本,操作如下:
[root@master ~]# vim /etc/kubernetes/manifests/kube-apiserver.yaml
在spec字段的command字段下添加以下内容:
- --runtime-config=batch/v2alpha1=true
[root@master ~]# systemctl restart kubelet.service
//重启kubelet服务
[root@master ~]# kubectl api-versions | grep batch/v2alpha1
batch/v2alpha1
附加图片一张:
一)、应用示例
[root@master job]# cat cronjob.yaml
kind: CronJob
apiVersion: batch/v2alpha1
metadata:
name: hello
spec:
schedule: "*/1 * * * *"
jobTemplate:
spec:
template:
spec:
containers:
- name: hello
image: busybox
command: ["echo","hello cronjob"]
restartPolicy: Never
[root@master job]# kubectl apply -f cronjob.yaml
查看效果:
注:此时查看Pod的状态,会发现,每分钟都会运行一个新的Pod来执行命令规定的任务。
这样测试是没有问题的,但是如果指定计划任务时,就会发现它不会像预期的效果一样!
二)、应用示例
[root@master job]# cat cronjob.yaml
kind: CronJob
apiVersion: batch/v2alpha1
metadata:
name: hello
spec:
schedule: "27 18 17 8 1" //分别代表着“分、时、日、月、周”
jobTemplate:
spec:
template:
spec:
containers:
- name: hello
image: busybox
command: ["echo","hello cronjob"]
restartPolicy: Never
[root@master job]# date
2020年 08月 17日 星期一 18:27:01 CST
[root@master job]# kubectl get pod
No resources found.
注:
此时仍然不能正常运行指定时间的cronJob,这是因为K8s官方在cronjob这个资源对象的支持中还没有完善此功能,还待开发。
标签:效率 ESS 字段 分析 res box emctl 日志信息 ast
原文地址:https://blog.51cto.com/14306186/2521107