Docker+K8S 集群环境搭建及分布式应用部署

1.安装Docker

yum install docker

#启动服务

systemctl start docker.service

systemctl enable docker.service

#测试

docker version

2.安装etcd

yum install etcd -y

#启动etcd

systemctl start etcd

systemctl enable etcd

#输入如下命令查看 etcd 健康状况

etcdctl -C http://localhost:2379 cluster-health

#安装 Kubernetes

yum install kubernetes -y

安装好后，编辑文件 /etc/kubernetes/apiserver，将 KUBE_ADMISSION_CONTROL 后面的 ServiceAccount 去掉，如：

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"

然后分别启动以下程序（Master）：

systemctl start kube-apiserver

systemctl enable kube-apiserver

systemctl start kube-controller-manager

systemctl enable kube-controller-manager

systemctl start kube-scheduler

systemctl enable kube-scheduler

接下来启动 Node 节点的程序：

systemctl start kubelet

systemctl enable kubelet

systemctl start kube-proxy

systemctl enable kube-proxy

这样，一个简单的 K8S 集群环境就已经搭建完成了，我们可以运行以下命令来查看集群状态。

但目前该集群环境还不能很好的工作，因为需要对集群中 pod 的网络进行统一管理，所以需要创建覆盖网络 flannel。

1.安装 flannel：

yum install flannel -y

2.编辑文件 /etc/sysconfig/flanneld，增加以下代码:

--logtostderr=false --log_dir=/var/log/k8s/flannel/ --etcd-prefix=/atomic.io/network --etcd-endpoints=http://localhost:2379 --iface=enp0s3

其中 –iface 对应的是网卡的名字。

3.配置 etcd 中关于 flanneld 的 key

flannel 使用 etcd 进行配置，来保证多个 flannel 实例之间的配置一致性，所以需要在 etcd 上进行如下配置：

etcdctl mk /atomic.io/network/config '{ "Network": "10.0.0.0/16" }'

/atomic.io/network/config 这个 key 与上文 /etc/sysconfig/flannel 中的配置项 FLANNEL_ETCD_PREFIX 是相对应的，错误的话启动就会出错）

Network 是配置网段，不能和物理机 IP 冲突，可以随便定义，尽量避开物理机 IP 段。

4.启动修改后的 flannel ，并依次重启 docker、kubernete：

systemctl enable flanneld

systemctl start flanneld

service docker restart

systemctl restart kube-apiserver

systemctl restart kube-controller-manager

systemctl restart kube-scheduler

systemctl enable flanneld

systemctl start flanneld

service docker restart

systemctl restart kubelet

systemctl restart kube-proxy

这样，我们将应用部署到 Docker 容器中时，就可以通过物理IP访问到容器了。

分布式应用部署

1.搭建一个基于 SpringBoot 的框架,这里不再赘述。默认已经搭建好。

2.编写Dockerfile，内容示例如下:

#下载JAVA8的镜像

FROM java:8

#将本地文件挂到到/tmp目录

VOLUME /tmp

#复制文件到容器

ADD demo-0.0.1-SNAPSHOT.jar /demo.jar

#暴露8080端口

EXPOSE 8080

#配置启动容器后执行的命令

ENTRYPOINT ["java","-jar","/demo.jar"]

通过 docker build 命令创建镜像：

docker build -t demo .

这时，我们执行 docker images 就将看到刚才构建的镜像，如：

利用 K8S 部署 SpringBoot 应用

1.创建 rc 文件 demo-rc.yaml：

apiVersion: v1

kind: ReplicationController

metadata:

name: demo

spec:

# 节点数，设置为多个可以实现负载均衡效果

replicas: 1

selector:

App: demo

template:

metadata:

labels:

app: demo

spec:

containers:

- name: demo

#镜像名

image: demo

#本地有镜像就不会去仓库拉取

imagePullPolicy: IfNotPresent

ports:

- containerPort: 8080

以下命令创建 pod：

kubectl create -f demo-rc.yaml

创建成功后，我们可以查看 pod：

ContainerCreating 提示正在创建中，这时可以查看创建日志:

可以发现他提示：redhat-cat.crt 不存在，我们先通过ll命令查看下该文件：

可以发现该文件是个链接文件，它指向的是 /etc/rhsm/ca/redhat-uep.pem，而这个文件发现确实不存在，那这个文件又是怎么来的呢？答案就在这个路径里，我们需要安装 rhsm 这个软件，执行命令安装：

yum install *rhsm* -y

等待一段时间后，安装即完成。

安装完成后，执行 ll 命令查看该文件是否存在：

[root@MiWiFi-R3-srv ~]# ll /etc/rhsm/ca/redhat-uep.pem

ls: 无法访问/etc/rhsm/ca/redhat-uep.pem: 没有那个文件或目录

我们发现，依然没有该文件，不过没关心，我们可以手动创建：

touch /etc/rhsm/ca/redhat-uep.pem

执行完以上操作后，我们先将 rc 删除，再创建：

[root@MiWiFi-R3-srv ~]# kubectl delete rc demo

replicationcontroller "demo" deleted

[root@MiWiFi-R3-srv ~]# kubectl create -f demo-rc.yaml

replicationcontroller "demo" created

等待一段时间后，重新查看 po，我们发现已经成功启动：

[root@MiWiFi-R3-srv ~]# kubectl get po

NAME READY STATUS RESTARTS AGE

demo-hdmxs 1/1 Running 0 1m

这时，我们还无法通过局域网访问应用，还需要创建 Service：

1.创建 service 文件 demo-svc.yaml:

apiVersion: v1

kind: Service

metadata:

name: demo

spec:

type: NodePort

ports:

- port: 8080

targetPort: 8080

# 节点暴露给外部的端口（范围必须为30000-32767）

nodePort: 30001

selector:

app: demo

2.执行命令：

[root@MiWiFi-R3-srv ~]# kubectl create -f demo-svc.yaml

service "demo" created

3.我们可以查看刚才创建 service:

这时，我们就可以通过 ip:30001 访问应用了，如图：

如果访问不到，需要关闭防火墙：

systemctl stop firewalld

iptables -P FORWARD ACCEPT