# 🌟 前言

> 前面讲了 **k8s** 的理论特性，那么今天将会带领大家动手搭建一个 **k8s 集群**；

# 1. 集群信息

## 🍇 节点规划

> 部署 k8s 集群的节点按照用途可以划分为如下 2 类角色：
>  
> （1）**master：** 集群的 master 节点，集群的初始化节点，基础配置不低于 2 C 4 G；
>  
> （2）**slave：** 集群的 slave 节点，可以多台，基础配置不低于 2 C 4 G；

本篇文章演示 **slave** 节点的添加，会部署 **1 台 master** + **2 台 slave**，节点规划如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0cc594f21a.png)

## 🍇 组件版本

> ![在这里插入图片描述](http://pic.nexopera.tech/62e0cc56bd3d2.png)

## 🍇 环境架构

> 这里看一个类似的架构图
> ![在这里插入图片描述](http://pic.nexopera.tech/62e0cc567c614.png)

# 2. 安装前准备

## 🍇 设置hosts解析

操作节点：所有节点（`k8s-master, k8s-slave`）均需执行

- **修改 hostname** ：hostname 必须只能包含小写字母、数字、`","`、`"-"`，且开头结尾必须是小写字母或数字

```bash
# 在master节点
$ hostnamectl set-hostname k8s-master #设置master节点的hostname

# 在slave-1节点
$ hostnamectl set-hostname k8s-slave1 #设置slave1节点的hostname

# 在slave-2节点
$ hostnamectl set-hostname k8s-slave2 #设置slave2节点的hostname

```

- **添加 hosts 解析**

```bash
$ cat >>/etc/hosts<<EOF
172.21.51.143 k8s-master
172.21.51.67 k8s-slave1
172.21.51.68 k8s-slave2
EOF
```

## 🍇 调整系统配置

操作节点： 所有的 **master** 和 **slave** 节点（`k8s-master, k8s-slave`）需要执行

> 下述操作均以 **k8s-master** 为例，其他节点均是相同的操作（**ip** 和 **hostname** 的值换成对应机器的真实值）

- 设置安全组开放端口

> 如果节点间无安全组限制（内网机器间可以任意访问），可以忽略，否则，至少保证如下端口可通：
>  
> k8s-master 节点：TCP：6443，2379，2380，60080，60081；UDP协议端口全部打开
>  
> k8s-slave 节点：UDP协议端口全部打开

- 设置iptables

```bash
$ iptables -P FORWARD ACCEPT
```

- 关闭swap

```bash
$ swapoff -a
# 防止开机自动挂载 swap 分区

$ sed -i '/ swap / s/^$.*$$/#\1/g' /etc/fstab
```

- 修改内核参数

```c
$ cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward=1
vm.max_map_count=262144
EOF

$ modprobe br_netfilter

$ sysctl -p /etc/sysctl.d/k8s.conf
```

- 设置yum源

```bash
$ curl -o /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo

$ curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

$ yum clean all && yum makecache
```

## 🍇 安装docker

> 所有节点都要安装

```bash
## 查看所有的可用版本
$ yum list docker-ce --showduplicates | sort -r

##安装旧版本 yum install docker-ce-cli-18.09.9-3.el7  docker-ce-18.09.9-3.el7

## 安装源里最新版本
$ yum install docker-ce-20.10.12 -y

## 配置docker加速
$ mkdir -p /etc/docker
vi /etc/docker/daemon.json
{
  "insecure-registries": [    
    "172.21.51.143:5000" 
  ],                          
  "registry-mirrors" : [
    "https://8xpk5wnt.mirror.aliyuncs.com" ##用自己的阿里镜像加速器网址
  ]
}
## 启动docker
$ systemctl enable docker && systemctl start docker
```

# 3. 初始化集群

## 🍇 安装 kubeadm、kubelet 和 kubectl

> kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。

操作节点： 所有的 **master** 和 **slave** 节点(`k8s-master, k8s-slave`) 需要执行

```bash
$ yum install -y kubelet-1.21.5 kubeadm-1.21.5 kubectl-1.21.5 --disableexcludes=kubernetes

## 查看kubeadm 版本
$ kubeadm version

## 设置kubelet开机启动
$ systemctl enable kubelet 
```

## 🍇 初始化配置文件

操作节点： 只在 **master** 节点（`k8s-master`）执行

```bash
$ kubeadm config print init-defaults > kubeadm.yaml

$ cat kubeadm.yaml ##编写yaml文件
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 172.21.51.143
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.21.5
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/12
scheduler: {}
```

## 🍇 提前下载镜像

操作节点：只在 **master** 节点（`k8s-master`）执行

```powershell
 # 查看需要使用的镜像列表,若无问题，将得到如下列表
$ kubeadm config images list --config kubeadm.yaml
registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
registry.aliyuncs.com/google_containers/pause:3.1
registry.aliyuncs.com/google_containers/etcd:3.3.15-0
registry.aliyuncs.com/google_containers/coredns:1.21.5

  # 提前下载镜像到本地
$ kubeadm config images pull --config kubeadm.yaml
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/pause:3.1
[config/images] Pulled registry.aliyuncs.com/google_containers/etcd:3.3.15-0
[config/images] Pulled registry.aliyuncs.com/google_containers/coredns:1.21.5
```

## 🍇 初始化master节点

操作节点：只在 **master** 节点（`k8s-master`）执行

```bash
$ kubeadm init --config kubeadm.yaml
```

若初始化成功后，最后会提示如下信息：

```
...
Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.21.51.143:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f
```

接下来按照上述提示信息操作，配置 **kubectl** 客户端的认证

```bash
 $ mkdir -p $HOME/.kube
 
 $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 
 $ sudo chown $(id -u):$(id -g) $HOME/.kube/config
```

> ⚠️注意：此时使用 `kubectl get nodes` 查看节点应该处于 **notReady** 状态，因为还未配置网络插件
>  
> 若执行初始化过程中出错，根据错误信息调整后，执行 `kubeadm reset `后再次执行 **init** 操作即可

## 🍇 添加slave节点到集群中

> 操作节点：所有的 **slave** 节点（`k8s-slave`）需要执行在每台 **slave** 节点，执行如下命令；
>  
> 该命令是在 `kubeadm init` 成功后提示信息中打印出来的，需要替换成实际 **init** 后打印出的命令。

```bash
$ kubeadm join 172.21.51.143:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f
```

如果忘记添加命令，可以通过如下命令生成：

```bash
$ kubeadm token create --print-join-command
```

# 4. 网络插件

操作节点：只在 **master** 节点（`k8s-master`）执行，CNI

- 下载 **flannel** 的 **yaml** 文件

```bash
$ wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
```

- 修改配置，指定网卡名称，大概在文件的 **190** 行，添加一行配置：

```bash
$ vi kube-flannel.yml
...      
      containers:
      - name: kube-flannel
        image: rancher/mirrored-flannelcni-flannel:v0.16.1
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=eth0  # 如果机器存在多网卡的话，指定内网网卡的名称，默认不指定的话会找第一块网卡
        resources:
          requests:
            cpu: "100m"
...
```

- 执行安装 **flannel** 网络插件

```bash
# 先拉取镜像,此过程C内速度比较慢
$ docker pull rancher/mirrored-flannelcni-flannel:v0.16.1

# 执行flannel安装
$ kubectl apply -f kube-flannel.yml
```

# 5. 集群设置

## 🍇 设置 master 节点是否可调度

操作节点：`k8s-master`

默认部署成功后，**master** 节点无法调度业务 **pod**，如需设置 **master** 节点也可以参与 **pod** 的调度，需执行：

```bash
$ kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-
```

## 🍇 设置kubectl自动补全

操作节点：`k8s-master`

```bash
$ yum install bash-completion -y

$ source /usr/share/bash-completion/bash_completion

$ source <(kubectl completion bash)

$ echo "source <(kubectl completion bash)" >> ~/.bashrc
```

# 6. 调整证书过期

使用 **kubeadm** 安装的集群，证书默认有效期为 **1** 年，可以通过如下方式修改为 **10** 年。

```bash
$ cd /etc/kubernetes/pki

# 查看当前证书有效期
$ for i in $(ls *.crt); do echo "===== $i ====="; openssl x509 -in $i -text -noout | grep -A 3 'Validity' ; done

$ mkdir backup_key; cp -rp ./* backup_key/

$ git clone https://github.com/yuyicai/update-kube-cert.git

$ cd update-kube-cert/ 

$ bash update-kubeadm-cert.sh all

# 重建管理服务
$ kubectl -n kube-system delete po kube-apiserver-k8s-master kube-controller-manager-k8s-master kube-scheduler-k8s-master
```

# 7. 验证集群

操作节点： 在 **master** 节点（`k8s-master`）执行

```bash
$ kubectl get nodes  #观察集群节点是否全部Ready
```

创建测试 **nginx** 服务

```bash
$ kubectl run  test-nginx --image=nginx:alpine
```

查看 **pod** 是否创建成功，并访问 `pod ip` 测试是否可用

```
$ kubectl get po -o wide

NAME                          READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
test-nginx-5bd8859b98-5nnnw   1/1     Running   0          9s    10.244.1.2   k8s-slave1   <none>           <none>

$ curl 10.244.1.2
...
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
```

# 8. 部署dashboard

- 部署服务

```bash
$ wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

$ vi recommended.yaml
# 修改Service为NodePort类型，文件的45行上下
......
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort  # 加上type=NodePort变成NodePort类型的服务
......
```

- 查看访问地址，本例为 **30133** 端口

```bash
$ kubectl apply -f recommended.yaml

$ kubectl -n kubernetes-dashboard get svc
NAME                        TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.105.62.124   <none>        8000/TCP        31m
kubernetes-dashboard        NodePort    10.103.74.46    <none>        443:30133/TCP   31m 
```

- 访问
  ![在这里插入图片描述](http://pic.nexopera.tech/62e0cc5649763.png)
- 创建 **ServiceAccount** 进行访问

```bash
$ vi dashboard-admin.conf
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: admin
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard

$ kubectl apply -f dashboard-admin.conf
$ kubectl -n kubernetes-dashboard get secret |grep admin-token
admin-token-fqdpf                  kubernetes.io/service-account-token   3      7m17s

# 使用该命令拿到token，然后粘贴到浏览器
$ kubectl -n kubernetes-dashboard get secret admin-token-fqdpf -o jsonpath={.data.token}|base64 -d

eyJhbGciOiJSUzI1NiIsImtpZCI6Ik1rb2xHWHMwbWFPMjJaRzhleGRqaExnVi1BLVNRc2txaEhETmVpRzlDeDQifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi10b2tlbi1mcWRwZiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJhZG1pbiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjYyNWMxNjJlLTQ1ZG...
```

- 粘贴到此处
  ![在这里插入图片描述](http://pic.nexopera.tech/62e0cc57c337b.png)
- 搭建成功
  ![在这里插入图片描述](http://pic.nexopera.tech/62e0cc57b5c0a.png)

## 🍇 清理集群

如果在集群安装过程中遇到了其他问题，我们可以使用下面的命令来进行重置：

```bash
# 在全部集群节点执行
kubeadm reset

ifconfig cni0 down && ip link delete cni0

ifconfig flannel.1 down && ip link delete flannel.1

rm -rf /run/flannel/subnet.env

rm -rf /var/lib/cni/

mv /etc/kubernetes/ /tmp

mv /var/lib/etcd /tmp

mv ~/.kube /tmp

iptables -F

iptables -t nat -F

ipvsadm -C

ip link del kube-ipvs0

ip link del dummy0
```

# 9. 总结

> **K8S** 是目前容器管理的一个主流，是实现 **PaaS** 的重要组成部分，所以我认为学习它是非常有价值的；
>
> 但是 **K8S** 可以说博大精深，不是短时间内可以掌握的，或者说只能掌握一些简单的操作；
>
> 另外 **docker** 已经被弃用了，早期的 **k8s** 的确是用 **docker** 作为容器运行时，但是从去年还是前年就不用了，取而代之的是 **CRI-O** 或者直接调用 **containerd** ，所以 **docker** 可以简单了解一下，不用花太多精力深入，


搭建k8s集群指南

搭建个人 Docker 镜像仓库

![image-20220817081136383](http://pic.nexopera.tech/62fc3239660e6.png)
为什么我的容器没有运行？

回答这个问题需要知道Docker容器为什么退出，退出码会提示容器停止运行的情况。本文列出了最常见的退出码，来回答两个重要问题：

- 这些退出码是什么意思？
- 导致该退出码的动作是什么？

exit code： 代表一个进程的返回码，通过系统调用 exit_group 来触发。在 POSIX 中，0 代表正常的返回码，而 1-255 代表异常返回码，不过一般错误码都是 1。这里有一张附表 [Appendix E. Exit Codes With Special Meanings](http://tldp.org/LDP/abs/html/exitcodes.html)

## 如何查看退出码

方法一：查看 pod 中的容器退出码

```bash
kubectl describe pod xxx 
```

![img](http://pic.nexopera.tech/62fc31e927359.jpg)

方法二：用docker查看

```bash
docker ps --filter "status=exited"
docker inspect <container-id> --format='{{.State.ExitCode}}'
```

方法三：手动输出

```bash
docker container run alpine sh -c "exit 1"

$ docker container ls -a

CONTAINER ID   IMAGE    COMMAND            CREATED              STATUS                       
61c688005b3a   alpine   "sh -c 'exit 1'"   About a minute ago   Exited (1) 3 seconds ago
```

## 常见退出码

### Exit Code 0

- 退出代码0表示特定容器没有附加前台进程。
- 该退出代码是所有其他后续退出代码的例外。
- 这不一定意味着发生了不好的事情。如果开发人员想要在容器完成其工作后自动停止其容器，则使用此退出代码。

如果你执行`docker run hello-world`, 你会得到“Hello from docker!”，但查看容器的时候`docker ps -a | grep hello-world`,会发现状态码为 0

![img](http://pic.nexopera.tech/62fc31e8ef142.jpg)

### Exit Code 1

- 程序错误，或者Dockerfile中引用不存在的文件，如 entrypoint中引用了错误的包
- 程序错误可以很简单，例如“除以0”，也可以很复杂，比如空引用或者其他程序 crash

### Exit Code 137

- 表明容器收到了SIGKILL信号，进程被杀掉，对应kill -9
- 引发SIGKILL的是docker kill。这可以由用户或由docker守护程序来发起，手动执行：docker kill
- 137 比较常见，如果 pod 中的limit 资源设置较小，会运行内存不足导致OOMKilled，此时state 中的”OOMKilled”值为true，你可以在系统的 dmesg 中看到 oom 日志

### Exit Code 139

- 表明容器收到了SIGSEGV信号，无效的内存引用，对应kill -11
- 一般是代码有问题，或者 docker 的基础镜像有问题

### Exit Code 143

- 表明容器收到了SIGTERM信号，终端关闭，对应kill -15
- 一般对应docker stop 命令
- 有时docker stop也会导致Exit Code 137。发生在与代码无法处理SIGTERM的情况下，docker进程等待十秒钟然后发出SIGKILL强制退出。

### 不常用的一些 Exit Code

- Exit Code 126: 权限问题或命令不可执行
- Exit Code 127: Shell脚本中可能出现错字且字符无法识别的情况
- Exit Code 1 或 255：因为很多程序员写异常退出时习惯用 exit(1) 或 exit(-1)，-1 会根据转换规则转成 255。这个一般是自定义 code，要看具体逻辑。

### 退出状态码的区间

- 必须在 0-255 之间，0 表示正常退出
- 外界将程序中断退出，状态码在 129-255
- 程序自身异常退出，状态码一般在 1-128
- 假如写代码指定的退出状态码时不在 0-255 之间，例如: exit(-1)，这时会自动做一个转换，最终呈现的状态码还是会在 0-255 之间。我们把状态码记为 code，当指定的退出时状态码为负数，那么转换公式如下：256 – (|code| % 256)


理解 Docker 容器退出码

容器的基本概念

# 🌟 前言

本篇文章将继续承接上一篇，继续深入容器的网络
![在这里插入图片描述](http://pic.nexopera.tech/62e0b647d5be8.png)

# 1. container网络

**container** 是容器网络中一种较为特殊的网络模式。

这个模式指定新创建的容器和已经存在的容器共享一个网络命名空间，而不是和宿主机共享。

新创建的容器没有自己的网卡、**IP** 地址等，而是和一个指定的容器共享 **IP** 地址、端口号等。

这两个容器之间不存在网络隔离，而这两个容器与宿主机以及其他容器之间存在网络隔离。如图所示👇
![在这里插入图片描述](http://pic.nexopera.tech/62e0b647a493d.png)
下面搭建一个 **container** 网络模型并查看效果，首先创建一个普通容器，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b647aa3cb.png)
以上示例创建了一个被命名为 **test1** 的 **BusyBox** 容器，此时该容器的网络模式默认为 **bridge**。

创建完成后，在容器终端中查看容器 **IP** 信息，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b647d028b.png)
以上示例中，通过查看容器 **IP** 信息得知该容器 **IP** 地址为 **172.17.0.2**。

下面创建一个网络模式为 **container** 的容器，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64825cb7.png)
以上示例创建了一个被命名为 **test-container** 的 **BusyBox** 容器，它与先前的 **test1** 容器共享网络空间。

其中，在配置 **container** 网络时，需要添加与新容器共享网络命名空间的容器名称。

下面在 **test-container** 容器终端中查看其 **IP** 信息，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b647cb6c7.png)
从以上示例中可以看到，容器 **test-container** 与容器 **test1** 的 **IP** 地址是一样的，但不排除容器 **test1** 在创建之后自动崩溃，新的容器 **test-container** 沿用了它的 **IP** 地址的可能。

下面在宿主机终端中查看容器信息，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b648b981a.png)
以上示例说明这两个容器已经进行了网络空间共享。此时，两个容器之间已经可以进行通信。

# 2. 多节点容器网络

**Docker** 多节点网络模式可以分为两种：一种是 **Docker1.19** 版本开始引入的基于 **VxLAN**（**Virtual extensible Local Area Network**，虚拟可扩展局域网）的对跨界点网络的原生支持；

另一种是通过插件方式引入的第三方实现方案，如 **Flannel**、**Calico** 等。

## 🍑 Overlay网络

**Overlay** 网络是一种实现设备间联通的虚拟网络，**Docker1.19** 版本中，增加了对 **Overlay** 网络的原生支持。

**Docker** 还支持 **Consul**、**etcd** 和 **ZooKeeper3** 种分布式存储。

其中，**etcd** 是一个支持高可用的分布式存储系统，通常 **etcd** 处理的数据都是控制数据，应用数据是在数据量很小但更新访问频繁的情况下使用 **etcd**；而 **Consul** 作为一个分布式数据库用于保存网络状态信息。

在 **Docker** 中，**Overlay** 网络用于连接不同计算机上的 **Docker** 容器，允许不同计算机上的容器相互通信，同时支持对消息进行加密；

当用户初始化一个集群或是将容器加入到一个集群中时，在 **Docker** 主机上会出现两种网络：一种是名为 **ingress** 的 **Overlay** 网络，用于传递集群服务的控制或数据消息，若在创建容器集群服务时没有指定连接用户自定义的 **Overlay** 网络，集群将会加入到默认的 **ingress** 网络。

另一种名为 **docker_gwbridge** 的桥接网络会连接容器集群中所有独立的 **Docker** 系统进程。

**Overlay** 网络架构如图所示👇
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64900d3e.png)

## 🍑 部署Overlay网络

**Overlay** 网络环境部署需要准备三台机器，其中一台（**192.168.56.135**）安装分布式数据库，这里以 **Consul** 为例，另外两台（**192.168.56.144** / **192.168.56.145**）创建网络，架构如图所示👇
![在这里插入图片描述](http://pic.nexopera.tech/62e0b6490b602.png)
在 Docker环境下部署 **Overlay** 网络之前需要先创建 **Consul** 数据库，具体步骤如下：

1、三台机器部署 **Docker** 环境，主机名与 **IP** 地址如表所示：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b6491c3b0.png)
2、选择一台作为 **Consul** 服务器用以安装 **Consul**，此处以 **IP** 地址为 **192.168.56.135** 的服务器为例。

这里直接使用镜像的方式启动 **Cousul** 容器部署 **Consul** 服务，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b6491f217.png)
上述示例在第一台宿主机中运行了一个 **Cousul** 容器。

下面使用浏览器访问 **192.168.56.135:8500**，查看 **Consul**，如图所示👇
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64943d15.png)
3、修改两台机器的 **Docker daemon** 配置文件，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64a2c84b.png)
以上示例中，**–cluster-store** 指定 **Consul** 的地址，**–cluster-advertise** 告知 **Consul** 该节点的连接地址，**192.168.56.135** 为 **Consul** 主机。

将配置文件配置成功之后，使用重启 **Docker** 的命令会报错。

需要先将配置文件重新加载，再重启 **Docker**，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64a1502f.png)
4、查看 **Consul** 端信息

用浏览器访问 **Consul** 主页，在 **“KEY/VALUE”** 下查看两个节点，这就是自动注册到 **Consul** 数据库中的节点，如图所示👇
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64a49835.png)
在 **Consul** 页面中看到图所示结果，即表示 **Consul** 分布式数据库搭建完成。

下面开始构建 **Overlay** 网络。

5、在一台节点主机中创建 **Overlay** 网络，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64a3ee9b.png)
注意，此处的 **-d** 参数用以指定创建 **Overlay** 网络。

下面查看网络是否创建成功，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64a539ef.png)
从以上示例中可以看到，已经成功创建了一个名为 **ov-test** 的 **Overlay** 网络。

下面切换到另一台节点主机查看网络信息，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64a61204.png)
以上示例中，在另一台节点主机中也能够看到 **Overlay** 网络。

这是因为网络类型为 **global**，即同时可以在多台节点主机查看到该网络，创建网络时，主机将信息存入 **Consul** 中，另一台主机会读取到新网络信息，同时，在主机上对网络的操作会同步到 **Consul** 中。

6、在网络中运行容器。

在 **Docker-1** 中运行一个容器，查看并测试其网络，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64b53cbf.png)
以上示例中，新建容器可以连通外网，并且容器有两个网卡，一个 **eth0**，连接 **Overlay** 网络，另一个 **eth1**，连接主机的 **docker_gwbridge**，为访问外网的容器提供出口。

在另一台 **Docker-2** 中运行容器，查看并测试其网络，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64b92185.png)
以上示例中，Docker-2 与 **Docker-1** 中的容器可以 **ping** 通。

这是因为在同一个 **Overlay** 网络下的容器使用 **eth0** 网卡通信，使用 **eth1** 网卡访问外网。

7、在 **Docker-2** 主机中创建一个 **Overlay** 网络，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64baa7e5.png)
以上示例新创建了一个名为 **ov-test2** 的 **Overlay** 网络。

在新的网络中创建一个容器，并测试其能否与 **ov-test** 网络中的容器互通，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64bcb2fb.png)
以上示例中，**10.0.0.2** 为 **ov-test** 网络中容器的 **IP** 地址，却无法 **ping** 通。这是因为不同 **Overlay** 网络中的容器在正常情况下是无法互相通信的，并且不同 **Overlay** 网络之间是隔离的。

要让两个 **Overlay** 网络中的容器通信，可以将其中一个容器连到另一个容器所在的 **Overlay** 网络中，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64ba10fd.png)
以上示例将 **ov-test2** 网络中的 **test3** 容器连接到 **ov-test** 网络。

下面回到 **test3** 容器终端，再次尝试连接 **ov-test** 网络中的容器，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64bd1462.png)
以上示例中，**test3** 容器连接到 **ov-test** 网络中之后，即可 **ping** 通 **ov-test** 网络中的所有容器。

8、**IP** 地址管理

**Overlay** 网络默认分配的子网为 **10.0.X.0/24**，用户也可以通过 **–subnet** 指定 **IP** 地址范围，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64c56ffd.png)
以上示例创建了一个被命名为 **ov-test3** 的 **Overlay** 网络，并将其网段指定为 **10.8.8.0/24**。

下面在 **ov-test3** 网络中创建一个容器，并查看其 **IP** 地址，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64d1c31f.png)
以上示例中，由于在创建 **Overlay** 网络时指定了 **10.8.8.0/24** 的网段，在网络中新建的容器分配到了指定网段的 **IP** 地址。

# 3. Macvlan网络

**Macvlan** 网络可以实现 **Docker** 容器的跨主机通信。

通过为物理网卡额外添加 **MAC**（**Media Access Control**，媒体存取控制）地址的形式来复用物理网卡，也就是说 **Macvlan** 网络直接使用服务器上的网卡让不同主机上的容器进行通信。

创建 **Macvlan** 网络的原理是，在宿主机物理网卡上虚拟出多个子网卡，通过不同的 **MAC** 地址在数据链路层（**Date Link Layer**）进行网络数据转发，如图所示👇
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64cceb8d.png)
下面通过 **docker network create** 命令创建网络模式为 **Macvlan** 的容器网络。

在创建时，用户无须手动为网卡添加 **MAC** 地址，但是必须明确指定使用的子网掩码（**subnet**）、网关（**gateway**）以及所使用的父网卡。

首先，在两台服务器上分别创建 **Macvlan** 网络，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64d73659.png)
以上示例分别在 **Docker-1** 与 **Docker-2** 两台服务器上创建了 **Macvlan** 网络，并指定了 **Macvlan** 网络的子网掩码与网关。

其中，**parent** 指定了流量在 **Docker** 主机上实际通过的接口。

然后分别在主机 **Docker-1** 与 **Docker-2** 中的 **Macvlan** 网络中创建容器，并查看其 **IP** 地址，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64dae9aa.png)
注意，在 **Macvlan** 网络模式下创建容器一定要指定 **IP** 地址，否则容易造成 **IP** 地址冲突。

最后使用以上两个容器中任意一个容器终端 **ping** 另外一个容器，测试其连通性，示例代码如下：
![在这里插入图片描述](http://pic.nexopera.tech/62e0b64d948ca.png)
从以上示例可以看出，两个容器已经可以互相通信。

# 4. 小结

> 本章详细系统地介绍了 **Docker** 容器的网络结构，包括 **none** 网络、**host** 网络、**bridge** 网络、**container** 网络以及跨主机容器的网络。
> 相信通过本章的学习能够熟练掌握 **Docker** 容器网络技术。


容器的网络

Nexopera是一个专注于Linux、网络和运维等领域的博客网站。将为读者提供广泛的相关文章，涵盖操作系统、服务器管理、网络配置、安全性等多个主题。如果你是初学者，希望这里有适合你的内容。

🌟 前言

1. 初始虚拟化

🍑 虚拟化概念

🌟 前言