Kube.NETes v1.25 引入了容器检查点 API 作为 alpha 特性。这提供了一种在不停止容器的情况下备份和恢复运行在 Pod 中的容器的方式。此功能主要用于调试分析，但任何 Kubernetes 用户都可以利用常规备份和恢复功能。
接下来，让我们来看看这个特性，并了解如何在我们的集群中启用它，并利用它进行备份和恢复或调试分析。
在我们开始对任何容器进行检查点处理之前，我们需要一个 playgroud，在这个 playgroud 上我们可以操作 kubelet 和它的工作负载。为此，我们将需要一个支持容器检查点处理的 v1.25+ 版本的 Kubernetes集 群和容器运行时环境。
这里我们将使用在 Vagrant 中构建的虚拟机内使用 kubeadm 创建一个集群，我们将相关配置文件放到了 Github 仓库：https://github.com/MartinHeinz/kubeadm-vagrant-playground/tree/contAIner-checkpoint-api 中，只需执行 vagrant up 即可快速启动该集群。
如果你想搭建自己的集群，请确保集群必须启用 ContainerCheckpoint 功能标志。对于 kubeadm 使用以下配置：
# kubeadm-config.yaml
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
featureGates:
ContainerCheckpoint: true
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: v1.25.0
apiServer:
extraArgs:
feature-gates: "ContainerCheckpoint=true"
controllerManager:
extraArgs:
feature-gates: "ContainerCheckpoint=true"
scheduler:
extraArgs:
feature-gates: "ContainerCheckpoint=true"
networking:
podSubnet: 10.244.0.0/16
这将向集群组件传递 --feature-gates 标志。此外，我们还需要使用支持检查点的容器运行时。撰写本文时，仅 CRI-O 支持它，而 Containerd 可能很快也会支持（https://github.com/containerd/containerd/pull/6965），最新版本的 crictl 已经支持通过 crictl checkpoint 创建检查点。
要使用 CRI-O 配置集群，请按照文档中的说明安装它，或者使用上述存储库中的脚本（你应该在虚拟机而不是本地运行此脚本）。
另外，我们还需要为 CRI-O 启用 CRIU，这是在后台执行实际检查点的工具。要启用它，我们需要设置 --enable-criu-support=true 标志。上面的脚本可以为你做到这一点。
另外，如果你打算将其恢复到 Pod 中，还需要将 --drop-infra-ctr 设置为 false，否则您将收到 CreateContainerError 并显示如下消息：
kubelet Error: pod level PID namespace requested for the container, ...
... but pod sandbox was not similarly configured, and does not have an infra container
在安装了 CRI-O 之后，我们还需要告诉 kubeadm 使用它的 sock 文件，下面的配置将会处理这个问题：
apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.56.2
bindPort: 6443
nodeRegistration:
criSocket: "unix:///var/run/crio/crio.sock"
---
然后我们就可以使用以下命令快速启动集群：
kubeadm init --config=.../kubeadm-config.yaml --upload-certs | tee kubeadm-init.out
这将给我们提供一个单节点集群，如下（注意容器运行时版本）：
$ kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION ... OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kubemaster Ready control-plane 82s v1.25.4 ... Ubuntu 20.04.5 LTS 5.4.0-125-generic cri-o://1.25.0
集群安装完成后，我们可以尝试创建一个检查点。在 Kubernetes 上通常可以使用 kubectl 或者运行 curl 命令来执行常规操作，访问集群 APIServer。然而，在这里这样做是行不通的，因为检查点 API 只暴露在每个集群节点上的 kubelet 上。因此，我们必须前往节点上并直接与 kubelet 交互：
$ vagrant ssh kubemaster
$ sudo su -
# Check if it's running...
$ systemctl status kubelet
kubelet.service - kubelet: The Kubernetes Node Agent
Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled)
Drop-In: /etc/systemd/system/kubelet.service.d
└─10-kubeadm.conf
Active: active (running) since Sat 2022-11-12 10:25:29 UTC; 30s ago
Docs: https://kubernetes.io/docs/home/
Main PID: 29501 (kubelet)
Tasks: 14 (limit: 2339)
Memory: 34.7M
CGroup: /system.slice/kubelet.service
└─29501 /usr/bin/kubelet --bootstrap-kubeconfig=... --kubeconfig=...
为了创建检查点，我们还需要一个正在运行的 Pod。让我们在 default 命名空间中创建一个 Nginx Pod：
$ kubectl taint nodes --all node-role.kubernetes.io/control-plane-
$ kubectl run webserver --image=nginx -n default
$ kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE
webserver 1/1 Running 0 27s 10.85.0.4 kubemaster
这里我们从节点中删除了污点，这样即使它是控制平面，我们也可以在节点上调度工作负载。
接下来，让我们向 kubelet 发出一个示例 API 请求，来查看是否正常：
$ curl -skv -X GET "https://localhost:10250/pods"
--key /etc/kubernetes/pki/apiserver-kubelet-client.key
--cacert /etc/kubernetes/pki/ca.crt
--cert /etc/kubernetes/pki/apiserver-kubelet-client.crt
{
"kind": "PodList",
"apiVersion": "v1",
"metadata": {},
"items": [
{
"metadata": {
"name": "webserver",
"namespace": "default",
...
}
}
...
}
kubelet 默认运行在端口 10250 上，因此我们使用 curl 命令并请求其所有的 Pod。我们还需要指定 CA 证书、客户端证书和密钥进行身份验证。
接下来就可以创建一个检查点了：
$ curl -sk -X POST "https://localhost:10250/checkpoint/default/webserver/webserver"
--key /etc/kubernetes/pki/apiserver-kubelet-client.key
--cacert /etc/kubernetes/pki/ca.crt
--cert /etc/kubernetes/pki/apiserver-kubelet-client.crt
# Response:
# {"items":["/var/lib/kubelet/checkpoints/checkpoint-webserver_default-webserver-2022-11-12T10:28:13Z.tar"]}
# Check the directory:
$ ls -l /var/lib/kubelet/checkpoints/
total 3840
-rw------- 1 root root 3931136 Nov 12 10:28 checkpoint-webserver_default-webserver-2022-11-12T10:28:13Z.tar
# Verify that original container is still running:
$ crictl ps --name webserver
CONTAINER IMAGE CREATED STATE NAME ATTEMPT POD ID POD
880ee7ddff7f3 Docker.io/library/nginx@sha256:... 48 seconds ago Running webserver 0 d584446dd8d5e webserver
检查点 API 位于 .../checkpoint/${NAMESPACE}/${POD}/${CONTAINER}，这里我们使用之前创建的 Pod，此请求在 /var/lib/kubelet/checkpoints/checkpoint-<pod>_<namespace>-<container>-<timestamp>.tar 中创建了一个存档。
运行上述 curl 后，您可能会收到如下错误：
checkpointing of default/webserver/webserver failed (CheckpointContainer is only supported in the CRI v1 runtime API)
# or
checkpointing of default/webserver/webserver failed (rpc error: code = Unknown desc = checkpoint/restore support not available)
这意味着您的容器运行时尚不支持检查点功能，或者未正确启用。
我们现在有了一个检查点容器存档，所以让我们看看里面有什么：
$ cd /var/lib/kubelet/checkpoints/
# Rename because "tar" doesn't like ":" in names
$ mv "checkpoint-webserver_default-webserver-2022-11-12T10:28:13Z.tar" webserver.tar
# View contents:
$ tar --exclude="*/*" -tf webserver.tar
dump.log
checkpoint/
config.dump
spec.dump
rootfs-diff.tar
io.kubernetes.cri-o.LogPath
# Extract:
$ tar -xf checkpoint-webserver_default-webserver-2022-09-04T10:15:37Z.tar
$ ls checkpoint/
cgroup.img fdinfo-4.img ids-31.img mountpoints-13.img pages-2.img tmpfs-dev-139.tar.gz.img
core-1.img files.img inventory.img netns-10.img pages-3.img tmpfs-dev-140.tar.gz.img
core-30.img fs-1.img ipcns-var-11.img pagemap-1.img pages-4.img tmpfs-dev-141.tar.gz.img
core-31.img fs-30.img memfd.img pagemap-30.img pstree.img tmpfs-dev-142.tar.gz.img
descriptors.json fs-31.img mm-1.img pagemap-31.img seccomp.img utsns-12.img
fdinfo-2.img ids-1.img mm-30.img pagemap-shmem-94060.img timens-0.img
fdinfo-3.img ids-30.img mm-31.img pages-1.img tmpfs-dev-136.tar.gz.img
$ cat config.dump
{
"id": "880ee7ddff7f3ce11ee891bd89f8a7356c97b23eb44e0f4fbb51cb7b94ead540",
"name": "k8s_webserver_webserver_default_91ad1757-424e-4195-9f73-349b332cbb7a_0",
"rootfsImageName": "docker.io/library/nginx:latest",
"runtime": "runc",
"createdTime": "2022-11-12T10:27:56.460946241Z"
}
$ tar -tf rootfs-diff.tar
var/cache/nginx/proxy_temp/
var/cache/nginx/scgi_temp/
var/cache/nginx/uwsgi_temp/
var/cache/nginx/client_temp/
var/cache/nginx/fastcgi_temp/
etc/mtab
run/nginx.pid
run/secrets/kubernetes.io/
run/secrets/kubernetes.io/serviceaccount/
如果您不需要一个正在运行的 Pod/容器进行分析，那么提取并阅读上面显示的一些文件可能会为您提供必要的信息。
虽然 Checkpointing API 目前更加注重于调试分析，但它仍然可以用于从存档中恢复 Pod/容器。最简单的方法是从检查点存档创建一个镜像：
FROM scratch
# Need to use ADD because it extracts archives
ADD webserver.tar .
这里我们使用一个空（scratch）镜像，然后向其添加归档文件。这里需要使用 ADD 命令，因为它会自动解压缩归档文件。接下来，我们使用 docker 或 buildah 构建它。
$ cd /var/lib/kubelet/checkpoints/
# Or docker build ...
$ buildah bud
--annotation=io.kubernetes.cri-o.annotations.checkpoint.name=webserver
-t restore-webserver:latest
Dockerfile .
$ buildah push localhost/restore-webserver:latest docker.io/martinheinz/restore-webserver:latest
在上面，我们还添加了一个注解，描述了容器的原始可读名称，然后我们将其推送到一些仓库，以便 Kubernetes 可以拉取它。最后，我们创建一个Pod，指定之前推送的镜像。
# pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: restore-webserver
labels:
App: nginx
spec:
containers:
- name: webserver
image: docker.io/martinheinz/restore-webserver:latest
nodeName: kubemaster
为了测试是否成功，我们可以通过 Service 将 Pod 暴露出来，并使用 curl 命令访问其IP地址。
$ kubectl expose pod restore-webserver --port=80 --target-port=80
$ kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 14m
restore-webserver ClusterIP 10.104.30.90 <none> 80/TCP 17s
$ curl http://10.104.30.90
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
...
</html>
可以看到生效了，我们成功地在不停止它的情况下备份了并恢复一个正在运行的 Pod。
Kubernetes 的检查点功能是增强容器化应用程序容错性和弹性的强大工具。通过实施良好规划的检查点策略，你可以将停机时间降至最低，改善资源利用情况，并简化应用程序迁移。
京公网安备 11010802035086号