NTP (Network Time Protocol 网络时钟协议) 是分布式环境中的重要基础设施，本文演示在 Rocky Linux 9 上自动化部署 Chrony Server、以及 Chrony Client。

本文包含以下主题：

- 部署环境要求
- Ansible Roles 介绍
- 部署 Chrony Server
- 部署 Chrony Client
- 总结

## 1.1 部署环境要求

示例通过 Ansible 自动化完成，需要 Ansible 控制节点；Chrony 属于 C/S 架构，需要至少一个 Server 节点，然后配置 Client 节点指向 Server 节点，以从 Server 同步时钟。

在本示例中，Ansible 控制节点同时作为 Chrony Client 节点，因此完成本示例，至少需要两个 Rocky Linux 9 节点。

### 1.1.1 节点信息

两个节点分别为 2 核 CPU、2G 内存的虚拟机。

Ansible (Chrony Client) 节点信息：

```
# IP：10.211.55.18
# 主机名：automate-host.aiops.red
# 系统版本：Rocky Linux release 9.0
```

Chrony Server 节点信息：

```
# IP：10.211.55.20
# 主机名：ntp1.server.aiops.red
# 系统版本：Rocky Linux release 9.0
```

### 1.1.2 节点要求

Chrony Client 能够通过主机名 ”ntp1.server.aiops.red“ 访问 Chrony Server。在生产环境中，更多是通过 DNS 实现的；但在本次演示中，通过编辑 Chrony Client 的 `/etc/hosts` 文件添加 Server 的 IP 与主机名条目：

```
sudo vim /etc/hosts
```

![image-20230522164456006](http://pic.nexopera.tech/image-20230522164456006.png)

为了实现整个过程的自动化，Ansible 控制节点需要通过 `aiops` 用户 (或其他有免密 **sudo** 权限的普通用户) 免密登录其自身及 Chrony Server 节点，并可以免密执行 **sudo** 命令。

通过以下步骤实现 `aiops` 的免密登录：

1、如果 `aiops` 用户还没有秘钥对，执行命令创建用于免密登录 SSH 的秘钥对：

```
[aiops@automate-host ~]$ ssh-keygen -t rsa
```

如果已经创建过秘密对，则忽略步骤 1。

2、使用 Ansible Playbook 将公钥分发给两个节点的 `aiops` 用户：

Ansible Inventory hosts 文件内容如下：

```
[automate]
automate-host.aiops.red

[ntp]
ntp1.server.aiops.red
```

Ansible `authorized_key.yaml` Playbook 文件内容如下：

```
#!/usr/bin/env ansible-playbook
---
- name: initialization ssh key play
  hosts: all
  gather_facts: false
  become: true
  tasks:
    - name: initialization ssh key task
      ansible.builtin.authorized_key:
        comment: aiops user public key
        user: aiops
        key: "{{ lookup('file', '/home/aiops/.ssh/id_rsa.pub') }}"
...
```

执行 `authorized_key.yaml` Playbook：

```
ansible-playbook authorized_key.yaml -k
```

![image-20230522164505532](http://pic.nexopera.tech/image-20230522164505532.png)

根据 Inventory hosts 为 Ansible 托管节点设置主机名。将 Chrony Server 的主机名设置为 `ntp1.server.aiops.red`。`change_hostname.yaml` Playbook 文件内容如下：

```
#!/usr/bin/env ansible-playbook
---
- name: change host name play
  hosts: all
  gather_facts: false
  become: true
  tasks:
    - name: change host name task
      ansible.builtin.shell:
        cmd: hostnamectl set-hostname "{{ inventory_hostname }}"

...
```

执行 `change_hostname.yaml` Playbook：

```
ansible-playbook change_hostname.yaml
```

![image-20230522164510207](http://pic.nexopera.tech/image-20230522164510207.png)

## 1.2 Ansible Roles 介绍

在之前的文章中，讨论了 Ansible Playbook。Ansible Roles 用于将单个大型的 Playbook 拆分成多个文件，简化 Playbook 编写的复杂度，并使 Playbook 更易重复使用。

### 1.2.1 Role 的基本结构

在定义 Role 时需要指定名称。例如 `chrony_server` Role 用于 Chrony Server 的安装与配置；`chrony_client` Role 用于 Chrony Client 的安装与配置。

Ansible 会在与 Playbook 文件同级的 `roles/` 目录下查找 Role，也可以通过 Ansible 配置文件中的选项，设置 Role 的存储路径：

```
[defaults]
roles_path=~/.ansible/roles:/usr/share/ansible/roles:/etc/ansible/roles:~/roles
```

`~/roles` 是我自定义的存放 Roles 的目录，可以使用 **ansible-galaxy** 命令在该目录下创建 `chrony_server`、`chrony_client` Role：

```
ansible-galaxy role init --init-path ~/roles chrony_server
ansible-galaxy role init --init-path ~/roles chrony_client
```

![image-20230522164515691](http://pic.nexopera.tech/image-20230522164515691.png)

查看 Role 的目录结构：

```
tree chrony_server
```

![image-20230522164519431](http://pic.nexopera.tech/image-20230522164519431.png)

`chrony_server/defaults/main.yml`：设置变量。此处设置的变量，可以被 Playbook 中的变量覆盖。

`chrony_server/files/`：存放了要拷贝到托管节点的文件或脚本。

`chrony_server/handlers/main.yml`：定义 Role 中用到的 Handlers。

`chrony_server/meta/main.yml`：Role 的元数据信息。

`chrony_server/README.md`：Role 自述文件。

`chrony_server/tasks/main.yml`：定义了要执行的任务，是 Role 所有动作的入口。

`chrony_server/templates/`：存放了要上传到托管节点的模板文件。

`chrony_server/tests/`：该目录中定义用于测试 Role 的 Playbook。

`chrony_server/vars/main.yml`：设置不希望被覆盖的变量，此处设置的变量优先级较高，

这些文件和目录都是可选的。如果 Role 中没有 handlers，可以删除 `handlers/` 目录，没有提供用于测试的 Playbook，可以删除 `tests/` 目录。

### 1.2.2 Chrony Server Role

接下来编写用于部署 Chrony Server 的 Role。

Chrony Server 通过公共的 NTP 服务获取准确时间。定义名为 `ntp_server` 的列表类型变量，作为 Chrony Server 的时间源。有很多公开的 NTP 服务，该变量的值很可能被使用者替换，因此把它定义在 `defaults/main.yml` 中：

```
---
# defaults file for chrony_server
ntp_server:
  - cn.pool.ntp.org
  - tw.pool.ntp.org
```

在 `tasks/main.yml` 中定义任务：

```
---
# tasks file for chrony_server
- name: install chronyd service task
  become: true
  ansible.builtin.dnf:
    name: chrony
    state: latest

- name: start chronyd service task
  become: true
  ansible.builtin.systemd:
    name: chronyd.service
    state: started
    enabled: true

- name: turn on ntp service in the firewall task
  ansible.posix.firewalld:
    service: ntp
    permanent: true
    immediate: true
    state: enabled

- name: generate chrony.conf file from the template task
  become: true
  ansible.builtin.template:
    src: chrony_server.conf.j2
    dest: /etc/chrony.conf
    group: chrony
  notify: restart chronyd service handler
```

在 `tasks/main.yml` 中定义了四个任务，安装、启动 Chrony 服务，在防火墙中开启对 NTP 服务的访问，通过模板渲染 Chrony Server 的配置文件，并在配置文件变化时，通知 Handlers 重启 Chrony Server。

在 `handlers/main.yml` 中定义 ”restart chronyd service handler“：

```
---
# handlers file for chrony_server
- name: restart chronyd service handler
  become: true
  ansible.builtin.systemd:
    name: chronyd.service
    state: restarted
```

在 `templates/` 目录下添加  `chrony_server.conf.j2` 模板文件，文件内容如下：

```
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (https://www.pool.ntp.org/join.html).
{% for ntp in ntp_server -%}
pool {{ ntp }} iburst
{% endfor -%}
# Use NTP servers from DHCP.
sourcedir /run/chrony-dhcp
# Record the rate at which the system clock gains/losses time.
driftfile /var/lib/chrony/drift
# Allow the system clock to be stepped in the first three updates
# if its offset is larger than 1 second.
makestep 1.0 3
# Enable kernel synchronization of the real-time clock (RTC).
rtcsync
# Enable hardware timestamping on all interfaces that support it.
#hwtimestamp *
# Increase the minimum number of selectable sources required to adjust
# the system clock.
#minsources 2
# Allow NTP client access from local network.
allow all
# Serve time even if not synchronized to a time source.
local stratum 3 orphan
# Require authentication (nts or key option) for all NTP sources.
#authselectmode require
# Specify file containing keys for NTP authentication.
keyfile /etc/chrony.keys
# Save NTS keys and cookies.
ntsdumpdir /var/lib/chrony
# Insert/delete leap seconds by slewing instead of stepping.
#leapsecmode slew
# Get TAI-UTC offset and leap seconds from the system tz database.
leapsectz right/UTC
# Specify directory for log files.
logdir /var/log/chrony
# Select which information is logged.
#log measurements statistics tracking
```

Chrony Server Role 完成了。

### 1.2.3 Chrony Client Role

Chrony Client Role 用来配置客户端，最终 Chrony Client 从 Chrony Server 同步时间。

Chrony Client 使用 Chrony Server 作为 NTP 服务，无需定义额外的变量，使用 Ansible 内置变量即可。

编辑 `chrony_client/tasks/main.yml` 文件，内容如下：

```
---
# tasks file for chrony_client
- name: install chronyd service task
  become: true
  ansible.builtin.dnf:
    name: chrony
    state: latest

- name: start chronyd service task
  become: true
  ansible.builtin.systemd:
    name: chronyd.service
    state: started
    enabled: true

- name: generate chrony.conf file from the template task
  become: true
  ansible.builtin.template:
    src: chrony_client.conf.j2
    dest: /etc/chrony.conf
    group: chrony
  notify: restart chronyd service handler
```

编辑 `chrony_client/handlers/main.yml` 文件，内容如下：

```
---
# handlers file for chrony_client
- name: restart chronyd service handler
  become: true
  ansible.builtin.systemd:
    name: chronyd.service
    state: restarted
```

在 `chrony_client/templates/` 下创建 `chrony_client.conf.j2` 模板文件，内容如下：

```
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (https://www.pool.ntp.org/join.html).
{% for chrony_server in groups.ntp -%}
server {{ chrony_server  }} iburst
{% endfor -%}
# Use NTP servers from DHCP.
sourcedir /run/chrony-dhcp
# Record the rate at which the system clock gains/losses time.
driftfile /var/lib/chrony/drift
# Allow the system clock to be stepped in the first three updates
# if its offset is larger than 1 second.
makestep 1.0 3
# Enable kernel synchronization of the real-time clock (RTC).
rtcsync
# Enable hardware timestamping on all interfaces that support it.
#hwtimestamp *
# Increase the minimum number of selectable sources required to adjust
# the system clock.
#minsources 2
# Allow NTP client access from local network.
#allow 192.168.0.0/16
# Serve time even if not synchronized to a time source.
#local stratum 10
# Require authentication (nts or key option) for all NTP sources.
#authselectmode require
# Specify file containing keys for NTP authentication.
keyfile /etc/chrony.keys
# Save NTS keys and cookies.
ntsdumpdir /var/lib/chrony
# Insert/delete leap seconds by slewing instead of stepping.
#leapsecmode slew
# Get TAI-UTC offset and leap seconds from the system tz database.
leapsectz right/UTC
# Specify directory for log files.
logdir /var/log/chrony
# Select which information is logged.
#log measurements statistics tracking
```

在 Client 模板配置文件中，采用 Ansible 内置的 `groups.ntp` 变量，该变量的值是一个列表，返回 `ntp` 组中定义的所有主机，因此使用 **for** 循环遍历该变量。

Roles 已经完成了，接下来编写 Playbook，完成 Chrony 的部署。

## 1.3 部署 Chrony Server

在 `~/playbooks/` 目录下创建 `deploy_chrony_server/` 目录，用来存放部署 Chrony Server 相关的文件：

```
mkdir ~/playbooks/deploy_chrony_server/
cd ~/playbooks/deploy_chrony_server/
```

![image-20230522164530816](http://pic.nexopera.tech/image-20230522164530816.png)

在该目录下创建 `deploy_chrony_server.yaml` 文件，内容如下：

```
---
- name: deploy ntp server play
  hosts: ntp
  become: true
  gather_facts: false

  roles:
    - role: upgrade_packages
      tags: upgrade_packages
    - role: chrony_server
      tags: chrony_server
...
```

Playbook 的内容非常简短，在 **roles:** 部分引用了两个 Role：`upgrade_packages` 和 `chrony_server`。`upgrade_packages` Role 用来更新 **dnf** 包，`~/roles/upgrade_packages/tasks/main.yml` 内容如下：

```
---
# tasks file for upgrade_packages
- name: upgrade packages task
  ansible.builtin.dnf:
    update_cache: true
    name: "*"
    state: latest
  register: upgradeResult

- name: reboot system task
  reboot:
  when: upgradeResult.changed
```

可以根据这段内容，试着用前面介绍的方式，创建 `upgrade_packages` Role。

执行 `deploy_chrony_server.yaml` Playbook 文件，部署 Chrony Server：

```
ansible-playbook deploy_chrony_server.yaml
```

![image-20230522164535371](http://pic.nexopera.tech/image-20230522164535371.png)

## 1.4 部署 Chrony Client

在 `~/playbooks/` 目录下创建 `deploy_chrony_client/` 目录，用来存放部署 Chrony Client 相关的文件：

```
mkdir ~/playbooks/deploy_chrony_client
cd ~/playbooks/deploy_chrony_client
```

![image-20230522164540647](http://pic.nexopera.tech/image-20230522164540647.png)

在该目录下创建 `deploy_chrony_client.yaml` 文件，内容如下：

```
#!/usr/bin/env ansible-playbook
---
- name: deploy ntp client play
  hosts: all:!ntp
  become: true
  gather_facts: false

  roles:
    - role: upgrade_packages
      tags: upgrade_packages
    - role: chrony_client
      tags: chrony_client
...
```

在部署 Chrony Client 时，主机组过滤了包含 Chrony Server 的 `ntp` 组。

执行 `deploy_chrony_client.yaml` Playbook 文件，部署 Chrony Client：

```
ansible-playbook deploy_chrony_client.yaml
```

![image-20230522164544252](http://pic.nexopera.tech/image-20230522164544252.png)

使用 **chronyc sources** 和 **chronyc tracking** 命令检查 Chrony Client 使用的 NTP 地址：

![image-20230522164547441](http://pic.nexopera.tech/image-20230522164547441.png)

## 1.5 总结

本文介绍了 Ansible Roles，以及如何通过 Ansible Roles 自动化部署 Chrony NTP 服务。在配置初始化环境时，非常有帮助。

Linux 9 自动化部署 NTP 服务

面对时刻增长的数据，企业需要找到一种经济、可靠、高效、可扩容的存储数据的方式。Ceph 无疑是个好选择。

本文是 “Ceph 分布式存储最佳实践” 的第一篇文章，主要包括以下主题：

- Ceph 介绍
- 部署环境介绍
- 部署 Ceph 集群
- 总结

## 1.1 Ceph 介绍

Ceph 是一个开源的、分布式的、可扩展的、软件定义的存储系统，可以提供块、对象和文件存储。

传统的存储系统通过一张表集中记录元数据。客户端每次发出读写请求，存储系统首先从这个表中查找元数据，得到结果后，才能执行客户端的操作请求。如果存储集群很大，这种方式可能引发性能瓶颈，也限制了存储系统的可扩展性。

Ceph 通过 CRUSH (Controlled Replication Under Scalable Hashing) 算法，在后台动态计算数据读取或写入位置，客户端直接连接 OSD，提高了数据的读写性能。通过动态计算元数据，Ceph 避免了元数据表的限制，提高了可扩展性。

Ceph 中包含了很多概念，比如 Monitor、Manager、OSD、PG、MDS 等。系列文章以部署一个高可用的 Ceph 集群作为开端，理论与实践结合，逐步讨论 Ceph 的概念及使用。因此搭建一套高可用的 Ceph 集群，是学习 “Ceph 分布式存储最佳实践” 的基础。

## 1.2 部署环境介绍

完成本教程需要七个节点：一个节点作为 Ansible 控制节点，六个节点部署 Ceph 集群，它们的详细角色如下。

### 1.2.1 节点信息

七个节点分别为 2 核 CPU、2 GB 内存的虚拟机，安装了 Rocky Linux release 9.1 操作系统。

Ansible Inventory hosts：

```
[ceph]
ceph1.server.aiops.red
ceph2.server.aiops.red
ceph3.server.aiops.red
ceph4.server.aiops.red
ceph5.server.aiops.red
ceph6.server.aiops.red
```

Ceph 集群主机角色如下：

```
主机名：ceph1.server.aiops.red, IP：10.211.55.44, 角色：cephadm、mon、mgr
主机名：ceph2.server.aiops.red, IP：10.211.55.45, 角色：mon、mgr
主机名：ceph3.server.aiops.red, IP：10.211.55.46, 角色：mon、mgr
主机名：ceph4.server.aiops.red, IP：10.211.55.48, 角色：osd, 额外磁盘：/dev/sdb、/dev/sdc、/dev/sdd
主机名：ceph5.server.aiops.red, IP：10.211.55.49, 角色：osd, 额外磁盘：/dev/sdb、/dev/sdc、/dev/sdd
主机名：ceph6.server.aiops.red, IP：10.211.55.50, 角色：osd, 额外磁盘：/dev/sdb、/dev/sdc、/dev/sdd
```

### 1.2.2 节点要求

为使安装顺利进行，节点应满足以下要求。

#### 1.2.2.1 时钟同步

Ceph 集群各节点时钟应保持一致，这也是分布式系统的基本要求。

要自动化实现时钟同步，可以参考 “[Linux 9 自动化部署 NTP 服务](https://blog.nexopera.tech/post/228)”。

#### 1.2.2.2 主机名解析

Ansible 控制节点、Ceph 各节点间应能通过主机名访问。要实现主机名称解析，可以在主机的 `/etc/hosts` 文件中指定节点的 IP、主机名条目，或者参考 “[Linux 9 自动化部署 DNS 服务”](https://blog.nexopera.tech/post/229) 一文配置 DNS 服务。

#### 1.2.2.3 账号权限

Ansible 控制节点能够免密登录 Ceph 节点，并能免密执行 **sudo**。可以参考 “[Linux 9 自动化部署 NTP 服务](https://blog.nexopera.tech/post/228)” 中的 “部署环境要求” 一节实现。

在满足了以上要求后，开始部署 Ceph 高可用集群。

## 1.3 使用 Cephadm 部署 Ceph 集群

在安装 Ceph 集群自身时，使用 **cephadm** 工具；在对主机进行操作时，可以使用 Ansible 自动化工具。

### 1.3.1 更新软件包

Ceph 节点是新装的操作系统，最好统一执行软件包的更新操作。可以通过 Ansible 完成，以下是自动更新软件包、并在更新完成后重启操作系统的 Ansible Playbook：

`upgrade_packages.yaml`

```
#!/usr/bin/env ansible-playbook
---
- name: upgrade packages play
  hosts: ceph
  gather_facts: false
  become: true
  tasks:
    - name: upgrade packages task
      ansible.builtin.dnf:
        update_cache: true
        name: "*"
        state: latest
      register: upgradeResult
    - name: Reboot system task
      reboot:
      when: upgradeResult.changed
...
```

执行此 Playbook，完成软件包更新：

```
$ ansible-playbook upgrade_packages.yaml
```

此操作在 Ansible 节点上执行。

### 1.3.2 安装依赖包

**cephadm** 部署 Ceph 集群时，依赖 Python3、Systemd、Podman、LVM2，这些工具 Rocky Linux 9 默认已经安装了。

也可以通过以下 Playbook，执行安装：

`ceph-dependent.yaml`：

```
---
- name: install cephadm dependent packages
  hosts: ceph
  become: true
  gather_facts: false
  tasks:
    - name: install packages
      dnf:
        name:
          - python3
          - lvm2
          - podman
        state: present
...
```

在 Ansible 控制节点上执行：

```
[aiops@automate-host ceph]$ ansible-playbook ceph-dependent.yaml
```

### 1.3.3 安装 Cephadm

登录 `ceph1.server.aiops.red` 主机，执行以下操作。

安装 ceph repo：

```
[root@ceph1 ~]# dnf search release-ceph
Last metadata expiration check: 0:00:45 ago on Sun 05 Feb 2023 11:53:21 AM CST.
=========== Name Matched: release-ceph ===========
centos-release-ceph-pacific.noarch : Ceph Pacific packages from the CentOS Storage SIG repository
centos-release-ceph-quincy.noarch : Ceph Quincy packages from the CentOS Storage SIG repository
[root@ceph1 ~]# dnf install -y centos-release-ceph-quincy
```

安装 **cephadm**：

```
[root@ceph1 ~]# dnf install -y cephadm
```

**cephadm** 通过容器部署 Ceph 集群，因此用到了几个镜像。可以通过编辑该文件查看：

```
[root@ceph1 ~]# vim $(which cephadm)
# 在打开的编辑器中搜索 images 关键字
```

安装 **ceph** 客户端：

```
[root@ceph1 ~]# cephadm install ceph-common
```

### 1.3.4 安装 Ceph 集群

在 Ceph 集群的第一台主机上，执行 **cephadm bootstrap** 命令创建 Ceph 集群，该命令会创建第一个 Monitor 守护进程，Monitor 守护进程需要监听在一个地址上，因此需要为该命令提供一个 IP 地址：

```
root@ceph1 ~]# cephadm bootstrap --mon-ip 10.211.55.44 --allow-fqdn-hostname
```

安装过程将持续一段时间，因为需要下载运行服务所需的容器镜像。

安装完成后，注意类似以下的输出内容：

```
Ceph Dashboard is now available at:

	     URL: https://ceph1.server.aiops.red:8443/
	    User: admin
	Password: cpjxlxldcz
```

通过此信息，可以在浏览器中登录 Ceph 集群的 Dashboard。第一次登录，需要修改密码。

![image-20230522163846264](http://pic.nexopera.tech/image-20230522163846264.png)图 1-1, Ceph Cluster Dashboard

集群处于非健康状态。可以通过 **ceph -s** 命令查看详细信息：

```
[root@ceph1 ~]# ceph -s
  cluster:
    id:     53522672-a50a-11ed-93ad-001c42a83cc8
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3

  services:
    mon: 1 daemons, quorum ceph1.server.aiops.red (age 18m)
    mgr: ceph1.server.aiops.red.obitbj(active, since 16m)
    osd: 0 osds: 0 up, 0 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

```

提示 OSD 的数量小于三。

### 1.3.5 添加主机到集群

将主机添加到集群，需要执行以下步骤：

首先，将部署集群时生成的公钥 `/etc/ceph/ceph.pub` 添加到新主机的 root 用户，该步骤可以通过 Ansible Playbook 完成。将 `/etc/ceph/ceph.pub` 文件从 `ceph1.server.aiops.red` 主机拷贝到 Ansible 主机，在 Ansible 主机上编辑 Playbook 文件。

`copy_pub.yaml`：

```
---
- name: initialization ssh key play
  hosts: ceph
  gather_facts: false
  become: true
  tasks:
    - name: initialization ssh key task
      ansible.builtin.authorized_key:
        comment: aiops user public key
        user: root
        key: "{{ lookup('file', '/home/aiops/playbooks/test/ceph/ceph.pub') }}"
...
```

在 Ansible 节点上执行 `copy_pub.yaml` Playbook 文件，完成 SSH 公钥的添加：

```
[aiops@automate-host ceph]$ ansible-playbook copy_pub.yaml
```

然后，为 Ceph 集群添加节点，此步骤在 cephadm (ceph1.server.aiops.erd) 节点上完成：

```
[root@ceph1 ~]# ceph orch host add ceph2.server.aiops.red
Added host 'ceph2.server.aiops.red' with addr '10.211.55.45'
[root@ceph1 ~]# ceph orch host add ceph3.server.aiops.red
Added host 'ceph3.server.aiops.red' with addr '10.211.55.46'
...
```

将所有节点加入 Ceph 集群。

查看集群中的节点：

```
[root@ceph1 ~]# ceph orch host ls
HOST                    ADDR          LABELS  STATUS
ceph1.server.aiops.red  10.211.55.44  _admin
ceph2.server.aiops.red  10.211.55.45
ceph3.server.aiops.red  10.211.55.46
ceph4.server.aiops.red  10.211.55.48
ceph5.server.aiops.red  10.211.55.49
ceph6.server.aiops.red  10.211.55.50
6 hosts in cluster
```

因为缺少 OSD，集群状态处于非健康状态，接下来将 OSD 部署到集群。

### 1.3.6 部署 OSD

OSD (Object Storage Daemon) 用来存储数据，处理数据的复制、恢复以及再平衡，并通过检查其他 OSD 的心跳，为 Monitor、Manager 提供一些监控信息。通常，需要至少三个 OSD 来实现冗余和高可用性。

查看集群中可用设备：

```
ceph orch device ls
```

![image-20230522163810701](http://pic.nexopera.tech/image-20230522163810701.png)图 1-2 列出 Ceph 集群中可用的设备

将集群中任何可用的设备作为 OSD：

```
[root@ceph1 ~]# ceph orch apply osd --all-available-devices
Scheduled osd.all-available-devices update...
```

再次检查集群状态：

```
ceph -s
```

![image-20230522163816811](http://pic.nexopera.tech/image-20230522163816811.png)图 1-3, 集群状态变为健康

集群健康状态变为 OK。

查看 OSD：

```
ceph osd tree
```

![image-20230522163821529](http://pic.nexopera.tech/image-20230522163821529.png)图 1-4, 查看 OSD 信息

### 1.3.7 部署 Monitor

Ceph Monitor (ceph-mon) 维护集群状态的 maps，包括 monitor map、manager map、OSD map、MDS map 以及 CURSH map。这些 maps 是重要的集群状态，需要 Ceph 守护进程互相协调。Monitors 也负责管理守护进程和客户端之间的认证。通常需要至少三个 monitors 实现冗余和高可用性。

通过 **ceph -s** 或 Dashboard 页面的 Cluster-Hosts 可以看到，默认启动了 5 个 mon。一个或多个 mon 实例形成一个 Paxos 集群，提供可靠性。可以使用 **--placement** 选项将 mon 部署在指定的节点上：

```
ceph orch apply mon --placement="ceph1.server.aiops.red,ceph2.server.aiops.red,ceph3.server.aiops.red"
```

![image-20230522163825511](http://pic.nexopera.tech/image-20230522163825511.png)图 1-5, 部署 mon

### 1.3.8 部署 Manager

Ceph Manager daemon (ceph-mgr) 负责跟踪运行时指标和 Ceph 集群的当前状态，包括存储利用率、当前性能指标和系统负载。Ceph Manager 守护进程还托管 Python 模块来管理和暴露 Ceph 集群的信息，包括基于 Web 的 Ceph Dashboard 和 REST API。通常需要至少两个 Managers 来实现高可用性。

通常与监控守护程序一起运行，以提供额外的监控和接口给外部监控和管理系统：

```
ceph orch apply mgr --placement="ceph1.server.aiops.red,ceph2.server.aiops.red,ceph3.server.aiops.red"
```

![image-20230522163829444](http://pic.nexopera.tech/image-20230522163829444.png)图 1-6, 部署 mgr

### 1.3.9 为节点设置标签

Orchestrator 支持为主机分配标签。每个主机可以有多个标签：

```
ceph orch host label add ceph4.server.aiops.red osd-node
```

![image-20230522163833123](http://pic.nexopera.tech/image-20230522163833123.png)图 1-7, 为主机设置标签

## 1.4 总结

本章是 “Ceph 分布式存储最佳实践” 的开篇，主要介绍了 Ceph 集群的部署，以及一些基本概念。通过对本章的学习，你将能够在基于 RPM 的 Linux 系统上部署 Ceph 分布式集群，并对集群做一些基本操作，如部署 OSD、Monitor、Manager，设置标签等。

Linux 9 部署 Ceph 分布式存储

发现一个现象很久了，一直没有深入了解其中的原因。那就是为什么从全球任意地方访问Google的公共DNS服务器8.8.8.8时延都很低？

如果我们查询IP地址8.8.8.8的归属信息，我们会发现他是位于美国的，就跟114.114.114.114归属于中国一样。

![image-20230522163545967](http://pic.nexopera.tech/image-20230522163545967.png)

但是当我们从国内去访问这个服务器时，发现时延只有47 ms，这个时延根本到不了美国。

![image-20230522163550903](http://pic.nexopera.tech/image-20230522163550903.png)

后来，我在香港测试了一下，发现时延只有3 ms，难道这个DNS服务器是部署在香港的？

![image-20230522163554654](http://pic.nexopera.tech/image-20230522163554654.png)

再后来，我发现情况远不是这样，当我在美国访问时，他的时延是8 ms。同一个IP地址，在香港访问3 ms，在美国访问8 ms，这个美国到香港的时延最大是11 ms，绝对不可能。

![image-20230522163558868](http://pic.nexopera.tech/image-20230522163558868.png)

要知道美国到香港的地图距离是11000公里，按照光速算，也需要37 ms，全程光纤，最短的理论值也要55 ms以上。

同时，当我们从德国访问时，时延是2 ms。

![image-20230522163602530](http://pic.nexopera.tech/image-20230522163602530.png)

从新加坡访问时，时延也只有1 ms多点。

![image-20230522163607494](http://pic.nexopera.tech/image-20230522163607494.png)

这就说明一个问题，8.8.8.8这个IP地址应该不是真实的IP地址。

谷歌公共DNS服务器可以提供全球范围内的域名解析服务，用户可以在任何地方使用它来解析DNS查询请求。它的访问延迟低，可能有以下几个方面的因素：

**1、优秀的网络基础设施：**Google作为全球最大的互联网公司之一，具有强大的网络基础设施。它在全球范围内建立了多个数据中心和网络节点，使其可以为全球用户提供高速、稳定的网络服务。

**2、分布式架构：**8.8.8.8采用分布式架构，将服务部署在全球多个地理位置的服务器上。这种架构可以实现负载均衡和故障转移，减少单个服务器的负载，从而提高整体服务的可靠性和性能。

**3、全球覆盖：**8.8.8.8服务器分布在全球各地，为全球用户提供服务。Google在全球范围内的服务器资源非常丰富，所以无论用户在哪个国家或地区，都可以享受到高效、快速、可靠的DNS服务。

**4、DNS优化技术：**8.8.8.8采用了多种DNS优化技术，例如DNS over UDP和DNS over TCP等协议，以及DNSSEC安全扩展等技术。这些技术可以提高DNS查询的安全性、稳定性和效率，从而提高服务的质量和性能。

**5、强大的缓存技术：**8.8.8.8具有强大的缓存技术，可以缓存常用的DNS查询结果，从而减少对后端服务器的查询次数，加快查询速度。同时，它还可以根据查询频率和请求源地等信息动态调整缓存策略，优化查询响应时间。

验证一下，我先在电脑上将DNS服务器配置为8.8.8.8。

![image-20230522163612067](http://pic.nexopera.tech/image-20230522163612067.png)

然后测试一下从公网看到的信息。

![image-20230522163616277](http://pic.nexopera.tech/image-20230522163616277.png)

可以看到，显示的DNS服务器并不是8.8.8.8，而是其他香港的IP地址，具体有以下几个：

![image-20230522163621219](http://pic.nexopera.tech/image-20230522163621219.png)

然后我们检查一下这些IP地址，就可以发现，其实这些都是Google全球边缘网络节点的IP地址。

![image-20230522163625784](http://pic.nexopera.tech/image-20230522163625784.png)

所以，在没有明确确认原因之前，我有3个推测：

1、谷歌对于8.8.8.8这个IP地址做了CDN加速，与传统意义上对域名进行加速的CDN网络不同，谷歌是将DNS服务器的IP地址进行了就近解析，使用最近的分布式DNS服务器响应解析请求。利用这种架构，实现了DNS解析的负载均衡和故障转移。

2、服务器负载均衡，使用了类似于三角传输的部署模式。这种模式下，负载均衡设备与实服务器之间通过二层传输，且只有客户端的请求流量会经过负载均衡设备处理，实服务器的响应流量不会经过负载均衡设备处理。当客户端的请求流量经过负载均衡设备时，负载均衡设备根据健康检测方法、会话保持、负载均衡策略、调度算法等选出最优的实服务器，并向选中的实服务器发送访问请求。

此时，实服务器直接向客户端返回响应报文，响应报文不再经过负载均衡设备处理。此时的源IP地址为虚服务器的IP地址，目的IP地址为客户端IP地址。也就暴露了真实的DNS服务器IP地址，而不是8.8.8.8这个IP地址。

![image-20230522163629992](http://pic.nexopera.tech/image-20230522163629992.png)

3、NAT地址转换，谷歌利用自己强大的网络基础设施，在每个数据中心节点都向外发布了8.8.8.8这个IP地址，当流量通过互联网转发到路由器时，路由器将其转换为真实可用的IP地址。但是这种模式理论上不会暴露真实的IP地址，所以可能性比较小。

不管是哪种实现方式，谷歌DNS服务器都答复提升了查询的安全性、稳定性和效率。

为什么8.8.8.8从全球访问都很快?

VPN技术在保障网络通信安全和隐私上发挥着重要作用。IPsec VPN是其中一种常用的VPN模式。本文将介绍如何通过使用Docker来快速搭建IPsec VPN Server。

![image-20230522163320847](http://pic.nexopera.tech/image-20230522163320847.png)

## 什么是IPsec VPN？

IPsec即Internet Protocol Security，是一种用于保护互联网协议（IP）传输数据的协议。而VPN（Virtual Private Network）则是一种基于公共网络构建的专用网络，在其中可以进行安全数据传输。IPsec VPN结合二者的优势，可以在公共网络中创建一个虚拟专用网络，实现不同地点之间的安全通信，包括远程办公、资源共享等。

## 使用Docker搭建IPsec VPN Server

Docker是一个流行的容器化平台，可以更方便地搭建、管理和部署应用程序。下面介绍通过使用Docker来搭建IPsec VPN Server的方法：

### 第一步：安装Docker

如果您还没有安装Docker，请根据您的操作系统在官网下载并安装所需版本的Docker。

### 第二步：规划vpn配置信息

/data/jump/vpn/.env为vpn配置信息

```
VPN_IPSEC_PSK=password1!
# 配置用于登陆VPN的账号和密码
VPN_USER=vpn
VPN_PASSWORD=vpn1234
# 如下应该填写本机的外网IP（服务器ip）
VPN_PUBLIC_IP=36.111.179.*
# 配置额外的用户名和密码
VPN_ADDL_USERS=vpn1 vpn2
VPN_ADDL_PASSWORDS=vpn11234 pass21234
#DNS配置
VPN_DNS_SRV1=8.8.8.5
VPN_DNS_SRV2=114.114.114.114
```

### 第三步：启动VPN服务

```
docker run \ 
    --name ipsec-vpn-server \
    --env-file /data/jump/vpn/.env \ 
    --restart=always \
    -p 500:500/udp \
    -p 4500:4500/udp \
    -v /lib/modules:/lib/modules:ro \
    -d --privileged \
    hwdsl2/ipsec-vpn-server
```

在上述命令中，我们使用了hwdsl2/ipsec-vpn-server这个Docker镜像，并且指定在vpn.env文件中设置环境变量。其中，我们将UDP端口号500和4500分别映射到主机的对应端口，让客户端能够与VPN服务器建立隧道。[注意500、4500 udp端口一定要在安全组或者防火墙上配置放行]

### 第四步：查看VPN连接信息

使用以下命令：

```
docker logs -f ipsec-vpn-server
```

![image-20230522163332110](http://pic.nexopera.tech/image-20230522163332110.png)

### 第五步：查看客户端连接情况,ip分配、流量使用等

使用以下命令：

```
docker exec -it ipsec-vpn-server ipsec whack --trafficstatus
```

![image-20230522163340355](http://pic.nexopera.tech/image-20230522163340355.png)

## 客户端连接VPN通用配置（手机、电脑）

```
#不同设备实际需要填写的信息会有略微不同，但是关键信息为以下几个配置
VPN类型：IPSec
服务器：vpn服务器的ip，不需要端口
密钥：配置信息中的IPSec PSK
用户名、密码：配置信息中的username、password
```

## 结语

搭建IPsec VPN Server不再需要复杂的配置，通过Docker我们可以快速实现，并且有更好的可移植性和管理性。在这个过程中，安全性和隐私保护依然是至关重要的需求。因此，我们需要在实现快速搭建的同时，仔细考虑VPN服务器设置和保护工作。

1分钟搭建一个VPN服务器

**你知道怎么查看 IP 地址吗？**

当面试听到这个问题的时候，面试者常常会觉得走错了房间。我面试的是技术岗位啊，怎么问这么简单的问题？

的确，即便没有专业学过计算机的人，只要倒腾过电脑，重装过系统，大多也会知道这个问题的答案：在 Windows 上是 `ipconfig`，在 Linux 上是 `ifconfig`。

那你知道在 Linux 上还有什么其他命令可以查看 IP 地址吗？答案是 `ip addr`。如果回答不上来这个问题，那你可能没怎么用过 Linux。

##### 那你知道 ifconfig 和 ip addr 的区别吗？

这是一个有关 net-tools 和 iproute2 的“历史”故事。想象一下，你登录进入一个被裁剪过的非常小的 Linux 系统中，发现既没有 ifconfig 命令，也没有 ipaddr 命令，你是不是感觉这个系统压根儿没法用？这个时候，你可以自行安装 `net-tools` 和 `iproute2`这两个工具。当然，大多数时候这两个命令是系统自带的。

安装好后，我们来运行一下 ip addr。不出意外，应该会输出下面的内容。

```
root@test:~# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether fa:16:3e:c7:79:75 brd ff:ff:ff:ff:ff:ff
inet 10.100.122.2/24 brd 10.100.122.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::f816:3eff:fec7:7975/64 scope link
valid_lft forever preferred_lft forever
```

这个命令显示了这台机器上所有的网卡。大部分的网卡都会有一个 IP 地址，当然，这不是必须的。在后面的分享中，我们会遇到没有 IP 地址的情况。IP 地址是一个网卡在网络世界的通讯地址，相当于我们现实世界的门牌号码。既然是门牌号码，不能大家都一样，不然就会起冲突。比方说，假如大家都叫六单元 1001 号，那快递就找不到地方了。所以，有时候咱们的电脑弹出网络地址冲突，出现上不去网的情况，多半是 IP 地址冲突了。

如上输出的结果，`10.100.122.2` 就是一个 IP 地址。这个地址被**「点分隔为四个部分」**，每个部分 **「8 个 bit」**，所以 IP 地址总共是 **「32 位」**。这样产生的 IP 地址的数量很快就不够用了。因为当时设计 IP 地址的时候，哪知道今天会有这么多的计算机啊！因为不够用，于是就有了 IPv6，也就是上面输出结果里面 inet6 `fe80::f816:3eff:fec7:7975/64`。这个有 128 位，现在看来是够了，但是未来的事情谁知道呢？

本来 32 位的 IP 地址就不够，还被分成了 5 类。现在想想，当时分配地址的时候，真是太奢侈了。

![image-20230522162618699](http://pic.nexopera.tech/image-20230522162618699.png)

在网络地址中，至少在当时设计的时候，对于 `A、B、 C` 类主要分两部分，前面一部分是网络号，后面一部分是主机号。这很好理解，大家都是六单元 1001 号，我是小区 A 的六单元 1001 号，而你是小区B 的六单元 1001 号。

下面这个表格，详细地展示了 A、B、C 三类地址所能包含的主机的数量。在后文中，我也会多次借助这个表格来讲解。

![image-20230522162625498](http://pic.nexopera.tech/image-20230522162625498.png)

这里面有个尴尬的事情，就是 C 类地址能包含的最大主机数量实在太少了，**「只有 254 个」**。当时设计的时候恐怕没想到，现在估计一个网吧都不够用吧。而 B 类地址能包含的最大主机数量又太多了。6 万多台机器放在一个网络下面，一般的企业基本达不到这个规模，闲着的地址就是浪费。

### 无类型域间选路（CIDR）

于是有了一个折中的方式叫作「无类型域间选路」，简称「CIDR」。这种方式打破了原来设计的几类地址的做法，将 32 位的 IP 地址一分为二，「前面是网络号，后面是主机号」。从哪里分呢？你如果注意观察的话可以看到，`10.100.122.2/24`，这个 IP 地址中有一个斜杠，斜杠后面有个数字 24。这种地址表示形式，就是 CIDR。后面 24 的意思是，32 位中，前 24 位是网络号，后 8 位是主机号。

伴随着 CIDR 存在的，一个是「广播地址」，`10.100.122.255`。如果发送这个地址，所有 10.100.122 网络里面的机器都可以收到。另一个是子网掩码，255.255.255.0。将子网掩码和 IP 地址进行 AND 计算。前面三个 255，转成二进制都是 1。1 和任何数值取 AND，都是原来数值，因而前三个数不变，为 10.100.122。后面一个 0，转换成二进制是 0，0 和任何数值取AND，都是 0，因而最后一个数变为 0，合起来就是 `10.100.122.0`。这就是「网络号」。将子网掩码和 IP地址「按位计算 AND」，就可得到网络号。

### 公有 IP 地址和私有 IP 地址

在日常的工作中，几乎不用划分 A 类、B 类或者 C 类，所以时间长了，很多人就忘记了这个分类，而只记得 CIDR。但是有一点还是要注意的，就是公有 IP 地址和私有 IP 地址。

![image-20230522162632428](http://pic.nexopera.tech/image-20230522162632428.png)

我们继续看上面的表格。表格最右列是私有 IP 地址段。平时我们看到的数据中心里，办公室、家里或学校的 IP 地址，一般都是私有 IP 地址段。因为这些地址允许组织内部的 IT 人员自己管理、自己分配，而且可以重复。因此，你学校的某个私有 IP 地址段和我学校的可以是一样的。这就像每个小区有自己的楼编号和门牌号，你们小区可以叫 6 栋，我们小区也叫 6 栋，没有任何问题。但是一旦出了小区，就需要使用公有 IP 地址。就像人民路 888 号，是国家统一分配的，不能两个小区 都叫人民路 888 号。

**「公有 IP 地址有个组织统一分配」**，你需要去买。如果你搭建一个网站，给你学校的人使用，让你们学校的IT 人员给你一个 IP 地址就行。但是假如你要做一个类似网易 163 这样的网站，就需要有公有 IP 地址，这样全世界的人才能访问。

表格中的 192.168.0.x 是最常用的私有 IP 地址。你家里有 Wi-Fi，对应就会有一个 IP 地址。一般你家里地上网设备不会超过 256 个，所以 /24 基本就够了。有时候我们也能见到 /16 的 CIDR，这两种是最常见的，也是最容易理解的。

不需要将十进制转换为二进制 32 位，就能明显看出 192.168.0 是网络号，后面是主机号。而整个网络里面的第一个地址 192.168.0.1，往往就是你这个私有网络的出口地址。例如，你家里的电脑连接 Wi-Fi，Wi-Fi 路由器的地址就是 192.168.0.1，而 192.168.0.255 就是广播地址。一旦发送这个地址，整个192.168.0 网络里面的所有机器都能收到。但是也不总都是这样的情况。因此，其他情况往往就会很难理解，还容易出错。

###### 举例：一个容易“犯错”的 CIDR

我们来看 16.158.165.91/22 这个 CIDR。求一下这个网络的第一个地址、子网掩码和广播地址。

你要是上来就写 16.158.165.1，那就「大错特错」了。

`/22` 不是 8 的整数倍，不好办，只能先变成二进制来看。16.158 的部分不会动，它占了前 16 位。中间的 165，变为二进制为 `10100101` 。除了前面的 16 位，还剩 6 位。所以，这 8 位中前 6 位是网络号，`16.158.<101001>`，而`<01>.91` 是机器号。

第一个地址是 `16.158.<101001><00>.1`，即 `16.158.164.1`。子网掩码是 `255.255.<111111><00>.0`，即 `255.255.252.0`。广播地址为 `16.158.<101001><11>.255`，即 `16.158.167.255`。

这五类地址中，还有一类 **「D 类是组播地址」**。使用这一类地址，属于某个组的机器都能收到。这有点类似在公司里面大家都加入了一个邮件组。发送邮件，加入这个组的都能收到。组播地址在后面讲述 VXLAN协议的时候会提到。

讲了这么多，才讲了上面的输出结果中很小的一部分，是不是觉得原来并没有真的理解 ip addr 呢？我们接着来分析。

在 IP 地址的后面有个 **「scope」**，对于 eth0 这张网卡来讲，是 global，说明这张网卡是可以对外的，可以接收来自各个地方的包。对于 lo 来讲，是 host，说明这张网卡仅仅可以供本机相互通信。

lo 全称是「loopback」，又称环回接口，往往会被分配到 `127.0.0.1` 这个地址。这个地址用于本机通信，经过内核处理后直接返回，不会在任何网络中出现。

### MAC 地址

在 IP 地址的上一行是 link/ether 「fa:16:3e:c7:79:75」 brd ff:ff:ff:ff:ff:ff，这个被称为「MAC 地址」，是一个网卡的「物理地址」，用「十六进制」，6 个 byte 表示。

MAC 地址是一个很容易让人“误解”的地址。因为 MAC 地址号称全局唯一，不会有两个网卡有相同的 MAC 地址，而且网卡自生产出来，就带着这个地址。很多人看到这里就会想，既然这样，整个互联网的通信，全部用 MAC 地址好了，只要知道了对方的 MAC 地址，就可以把信息传过去。

这样当然是不行的。一个网络包要从一个地方传到另一个地方，除了要有确定的地址，还需要有定位功能。而有门牌号码属性的 IP 地址，才是有远程定位功能的。

例如，你去杭州市网商路 599 号 B 楼 6 层找刘超，你在路上问路，可能被问的人不知道 B 楼是哪个，但是可以给你指网商路怎么去。但是如果你问一个人，你知道这个身份证号的人在哪里吗？可想而知，没有人知道。

MAC 地址更像是「身份证」，是一个唯一的标识。它的唯一性设计是为了组网的时候，不同的网卡放在一个网络里面的时候，可以不用担心冲突。从硬件角度，保证不同的网卡有不同的标识。

**「MAC 地址是有一定定位功能的，只不过范围非常有限」**。你可以根据 IP 地址，找到杭州市网商路 599 号B 楼 6 层，但是依然找不到我，你就可以靠吼了，大声喊身份证 XXXX 的是哪位？我听到了，我就会站起来说，是我啊。但是如果你在上海，到处喊身份证 XXXX 的是哪位，我不在现场，当然不会回答，因为我在杭州不在上海。

所以，**「MAC 地址的通信范围比较小，局限在一个子网里面」**。例如，从 192.168.0.2/24 访问 192.168.0.3/24 是可以用 MAC 地址的。一旦跨子网，即从 192.168.0.2/24 到 192.168.1.2/24，MAC地址就不行了，需要 IP 地址起作用了。

### 网络设备的状态标识

解析完了 MAC 地址，我们再来看 `< BROADCAST,MULTICAST,UP,LOWER_UP >`是干什么的？这个叫作net_device flags，网络设备的状态标识。

**「UP」** 表示网卡处于「启动」的状态；「BROADCAST」 表示这个网卡有「广播地址」，可以发送广播包；MULTICAST表示网卡可以发送多播包；LOWER_UP 表示 L1 是启动的，也即网线插着呢。

**「MTU1500」** 是指什么意思呢？是哪一层的概念呢？**「最大传输单元 MTU 为 1500」**，这是以太网的默认值。上一节，我们讲过网络包是层层封装的。**「MTU 是二层 MAC 层的概念」**。MAC 层有 MAC 的头，以太网规定连 MAC 头带正文合起来，不允许超过 1500 个字节。正文里面有 IP 的头、TCP 的头、HTTP 的头。如果放不下，就需要分片来传输。

`qdisc pfifo_fast` 是什么意思呢？qdisc 全称是queueing discipline，中文叫`排队规则`。内核如果需要通过某个网络接口发送数据包，它都需要按照为这个接口配置的 qdisc（排队规则）把数据包加入队列。

最简单的 qdisc 是 `pfifo`，它不对进入的数据包做任何的处理，数据包采用先入先出的方式通过队列。pfifo_fast 稍微复杂一些，它的队列包括三个波段（band）。在每个波段里面，使用先进先出规则。三个波段（band）的优先级也不相同。band 0 的优先级最高，band 2 的最低。如果 band 0 里面有数据包，系统就不会处理 band 1 里面的数据包，band 1 和 band 2 之间也是一样。数据包是按照**「服务类型」**（Type of Service，TOS）被分配多三个波段（band）里面的。TOS 是 IP 头里面的一个字段，代表了当前的包是高优先级的，还是低优先级的。

队列是个好东西，后面我们讲云计算中的网络的时候，会有很多用户共享一个网络出口的情况，这个时候如何排队，每个队列有多粗，队列处理速度应该怎么提升，我都会详细为你讲解。

## 小结

怎么样，看起来很简单的一个命令，里面学问很大吧？通过这一节，希望你能记住以下的知识点，后面都能用得上：

- IP 是地址，有「定位功能」；MAC 是身份证，无定位功能；
- CIDR 可以用来判断是不是本地人；
- IP 分「公有」的 IP 和「私有」的 IP。

你真的会查看 IP 地址吗？

Nexopera是一个专注于Linux、网络和运维等领域的博客网站。将为读者提供广泛的相关文章，涵盖操作系统、服务器管理、网络配置、安全性等多个主题。如果你是初学者，希望这里有适合你的内容。