Kubernetes 号称云原生操作系统,可想而知其复杂程度也是非常大的,由许多组件组成,我们很难去追踪到所有的组件信息。
上图中至少列出了七八个组件,我们这里会忽略其中大部分组件,要运行一个最小级别的 Kubernetes 至少要包括如下三个基本组件:
这里我们来尝试配置一个最小级别的 Kubernetes,这对于我们加速对集群的理解也是非常有帮助的。
首先需要在节点上安装 Docker 容器运行时,我们这里使用的是操作系统为 centos7 版本,在 root 用户下面执行相关操作。执行如下所示命令直接安装即可:
$ yum install -y yum-utils
$ yum-config-manager
--add-repo
https://download.docker.com/linux/centos/docker-ce.repo
$ yum install -y docker-ce docker-ce-cli containerd.io
$ systemctl enable docker
$ systemctl daemon-reload
$ systemctl start docker
接下来,我们需要获取 Kubernetes 二进制文件。实际上,我们只需要使用 kubelet 组件来引导我们的“集群”,因为我们可以使用 kubelet 来运行其他组件,一旦集群启动了,我们就可以使用 kubectl 来进行操作了。
$ curl -L https://dl.k8s.io/v1.18.5/kubernetes-server-linux-amd64.tar.gz > server.tar.gz
$ tar xzvf server.tar.gz
$ cp kubernetes/server/bin/kubelet .
$ cp kubernetes/server/bin/kubectl .
$ ./kubelet --version
Kubernetes v1.18.5
由于 kubelet 配置太多,但是这里我们只需要几个设置参数即可:
$ ./kubelet -h
<far too much output to copy here>
$ ./kubelet -h | wc -l
284
我们这里需要使用的是 --pod-manifest-path 这个参数,该参数用于指定要运行的静态 Pod 文件的目录,静态 Pod 不受 Kubernetes API 管理,虽然平时我们在使用 Kubernetes 的时候比较少使用静态 Pod,但是对于引导集群却是非常有用,对 Kubeadm 熟悉的应该知道,该方案就是利用静态 Pod 将 Kubernetes 控制面板容器化的。下面我们来尝试下是否可以使用 kubelet 来运行 Pod。
首先我们创建一个静态 Pod 目录来运行 kubelet:
$ mkdir pods
$ ./kubelet --pod-manifest-path=pods
然后重新打开一个终端,创建如下所示的 Pod 资源清单文件:
$ cat <<EOF > pods/hello.yaml
apiVersion: v1
kind: Pod
metadata:
name: hello
spec:
containers:
- image: busybox
name: hello
command: ["echo", "hello world!"]
EOF
上面资源清单出现在 pods 目录后,就可以在 kubelet 日志中看到如下所示的错误信息:
......
E0707 10:25:58.489839 21311 pod_workers.go:191] Error syncing pod ab61ef0307c6e0dee2ab05dc1ff94812 ("hello-iz2ze8x2keg0a301rpa7cvz_default(ab61ef0307c6e0dee2ab05dc1ff94812)"), skipping: failed to "CreatePodSandbox" for "hello-iz2ze8x2keg0a301rpa7cvz_default(ab61ef0307c6e0dee2ab05dc1ff94812)" with CreatePodSandboxError: "CreatePodSandbox for pod "hello-iz2ze8x2keg0a301rpa7cvz_default(ab61ef0307c6e0dee2ab05dc1ff94812)" failed: rpc error: code = Unknown desc = failed pulling image "k8s.gcr.io/pause:3.2": Error response from daemon: Get https://k8s.gcr.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)"
......
这是因为 Kubernetes 的 Pod 默认情况下会优先启动一个 k8s.gcr.io/pause:3.2的 pause 镜像,而该镜像由于某些原因获取不到,我们可以 --pod-infra-container-image 参数重新指定一个可以访问到的镜像:
$ ./kubelet --pod-manifest-path=pods --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.2
现在我们检查下 Docker 容器是否有新的容器启动:
$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d6e822dbcebd busybox "echo 'hello world!'" 27 seconds ago Exited (0) 26 seconds ago k8s_hello_hello-iz2ze8x2keg0a301rpa7cvz_default_ab61ef0307c6e0dee2ab05dc1ff94812_3
102b999be2dd registry.aliyuncs.com/google_containers/pause:3.2 "/pause" 2 minutes ago Up 2 minutes k8s_POD_hello-iz2ze8x2keg0a301rpa7cvz_default_ab61ef0307c6e0dee2ab05dc1ff94812_0
$ docker logs k8s_hello_hello-iz2ze8x2keg0a301rpa7cvz_default_ab61ef0307c6e0dee2ab05dc1ff94812_3
hello world!
kubelet 通过我们指定的静态 Pod 目录,读取其中的 YAML 文件来创建 Pod。由于我们这里执行的就是 echo 命令,所以会不断的重启,验证完成后删除该 YAML 文件即可。
当然这还不够,我们还需要运行 APIServer,要做到这一点,我们需要首先运行 etcd,同样的我们也可以使用静态 Pod 来运行 etcd,创建如下所示的 etcd 资源清单文件:
$ cat <<EOF > pods/etcd.yaml
apiVersion: v1
kind: Pod
metadata:
name: etcd
namespace: kube-system
spec:
containers:
- name: etcd
command:
- etcd
- --data-dir=/var/lib/etcd
image: registry.aliyuncs.com/google_containers/etcd:3.4.3-0
volumeMounts:
- mountPath: /var/lib/etcd
name: etcd-data
hostNetwork: true
volumes:
- hostPath:
path: /var/lib/etcd
type: DirectoryOrCreate
name: etcd-data
EOF
这就是一个非常普通的 Pod 资源清单文件,大家应该都非常熟悉,不过还是需要注意两件事:
我们可以使用如下所示的命令来检查 etcd 是否启动成功:
$ curl localhost:2379/version
{"etcdserver":"3.4.3","etcdcluster":"3.4.0"}
$ tree /var/lib/etcd/
/var/lib/etcd/
└── member
├── snap
│ └── db
└── wal
├── 0000000000000000-0000000000000000.wal
└── 0.tmp
3 directories, 3 files
现在 etcd 启动成功了,就可以来启动 APIServer 了,我们这里只需要通过参数 --etcd-servers 传递 etcd 地址即可,同样在静态 pods 目录下面创建如下所示的资源清单:
$ cat <<EOF > pods/apiserver.yaml
apiVersion: v1
kind: Pod
metadata:
name: kube-apiserver
namespace: kube-system
spec:
containers:
- name: kube-apiserver
command:
- kube-apiserver
- --etcd-servers=http://127.0.0.1:2379
image: cnych/kube-apiserver:v1.18.5 # 阿里云镜像未同步
hostNetwork: true
EOF
创建完成后正常 APIServer 就会正常启动,可以通过如下所示的命令来验证:
$ curl localhost:8080/healthz
ok
$ curl localhost:8080/api/v1/pods
{
"kind": "PodList",
"apiVersion": "v1",
"metadata": {
"selfLink": "/api/v1/pods",
"resourceVersion": "59"
},
"items": []
}
而且 kubectl 也不需要额外的配置就可以直接使用了:
$ ./kubectl version
Client Version: version.Info{Major:"1", Minor:"18", GitVersion:"v1.18.5", GitCommit:"e6503f8d8f769ace2f338794c914a96fc335df0f", GitTreeState:"clean", BuildDate:"2020-06-26T03:47:41Z", GoVersion:"go1.13.9", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"18", GitVersion:"v1.18.5", GitCommit:"e6503f8d8f769ace2f338794c914a96fc335df0f", GitTreeState:"clean", BuildDate:"2020-06-26T03:39:24Z", GoVersion:"go1.13.9", Compiler:"gc", Platform:"linux/amd64"}
$ ./kubectl get pod
No resources found in default namespace.
这是因为 kubectl 默认是通过 localhost:8080 和 APIServer 进行通信的。
但是当我们去获取刚刚创建的静态 Pod 的时候却发现没有对应的记录:
$ ./kubectl get pod -n kube-system
No resources found in kube-system namespace.
而且运行 kubelet 的节点也根本没有显示:
$ ./kubectl get nodes
No resources found in default namespace.
这其实是因为 kubelet 不知道如何与 APIServer 进行通信并更新状态造成的,我们可以通过 kubelet 的 --kubeconfig 参数来指定 KUBECONFIG 文件的路径,可以通过该文件来指定如何连接到 APIServer。由于我们这里就是启动一个最新的 Kubernetes,没有身份验证或者证书之类的麻烦事情,所以非常简单,创建名为 kubeconfig.yaml 的如下所示文件:
apiVersion: v1
kind: Config
clusters:
- cluster:
server: http://127.0.0.1:8080
name: mink8s
contexts:
- context:
cluster: mink8s
name: mink8s
current-context: mink8s
然后杀掉 kubelet 进程,添加上 --kubeconfig 参数重新运行:
$ ./kubelet --pod-manifest-path=pods --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.2 --kubeconfig=kubeconfig.yaml
隔一会儿后我们再次使用 kubectl 来查看上面我们运行的静态 Pod 就正常了:
$ ./kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
default hello-mink8s 0/1 CrashLoopBackOff 261 21h
kube-system etcd-mink8s 1/1 Running 0 21h
kube-system kube-apiserver-mink8s 1/1 Running 0 21h
$ ./kubectl get nodes -owide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
mink8s Ready <none> 21h v1.18.5 10.70.10.228 <none> CentOS Linux 7 (Core) 4.15.0-109-generic docker://19.3.6
这样我们就运行了一个最小功能集的 Kubernetes 集群了。下面我们来尝试运行一个普通的 Pod 看能否正常运行。
同样尝试来创建一个 Nginx 的 Pod:
$ cat <<EOF > nginx.yaml
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
containers:
- image: nginx
name: nginx
EOF
然后使用 kubectl 来创建上面的资源对象:
$ ./kubectl Apply -f nginx.yaml
Error from server (Forbidden): error when creating "nginx.yaml": pods "nginx" is
forbidden: error looking up service account default/default: serviceaccount
"default" not found
$ ./kubectl get serviceaccounts
No resources found in default namespace.
可以看到有错误信息,这是因为我们上面部署的最小级别的 Kubernetes 环境完整性还是不够,没有自动生成默认的 default 这个 ServiceAccount,我们来手动创建再来验证一次:
$ cat <<EOF | ./kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
name: default
namespace: default
EOF
serviceaccount/default created
$ ./kubectl apply -f nginx.yaml
Error from server (ServerTimeout): error when creating "nginx.yaml": No API
token found for service account "default", retry after the token is
automatically created and added to the service account
我们手动创建了 ServiceAccount,但是却并没有创建对应的身份验证的 Token,我们可以看到以前很多自动完成的操作现在都没有了。
不过我们可以通过 automountServiceAccountToken 参数在 ServiceAccount 上来规避这个特定问题,因为实际上我们这里并不需要使用 ServiceAccount:
$ cat <<EOF | ./kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
name: default
namespace: default
automountServiceAccountToken: false
EOF
serviceaccount/default configured
$ ./kubectl apply -f nginx.yaml
pod/nginx created
$ ./kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx 0/1 Pending 0 13m
现在我们可以看到 Pod 出现了,但是处于 pending 状态,这是因为我们并没有部署 kube-scheduler 这个负责调度的组件,自然是不能被调度的,当然我们也可以不需要调度程序,直接使用 nodeName 属性将 Pod 手动固定到节点上即可:
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
containers:
- image: nginx
name: nginx
nodeName: mink8s
现在将之前部署的 Pod 删除重新来部署,正常就可以运行了:
$ ./kubectl delete pod nginx
pod "nginx" deleted
$ ./kubectl apply -f nginx.yaml
pod/nginx created
$ ./kubectl get pods -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx 1/1 Running 0 30s 172.17.0.2 mink8s <none> <none>
$ curl -s 172.17.0.2 | head -4
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
为了验证 Pod 与 Pod 之间是可以正常通信的,我们可以使用如下的 Pod 来验证:
$ cat <<EOF | ./kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
name: curl
spec:
containers:
- image: curlimages/curl
name: curl
command: ["curl", "172.17.0.2"]
nodeName: mink8s
EOF
pod/curl created
$ ./kubectl logs curl | head -6
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
可以看到可以正常通信。这样我们就完成了一个最小的 Kubernetes 集群部署。当然这也仅仅是为了简化我们对 Kubernetes 的理解而已,在实际的生产环境是绝对不能这样去部署使用的。