2022 版『正则表达式』上岸手册

全面认识 Nginx

![image-20220915083752582](http://pic.nexopera.tech/632273e150417.png)

监控我们的环境对于服务器运维来说至关重要，尤其是在部署新的应用程序时。如今，公司每天都使用开源解决方案来监控系统资源。但是，当出于测试的目的来监控一定时间时，bash 脚本会派上用场。

在本教程中，我们将编写一个 bash shell 脚本，它将输出一个三列表，来显示我们机器上的内存、磁盘和 CPU 的百分比。

让我们开始吧！

该脚本基本上由三个主要部分组成：

##  监控内存：

```
free -m | awk 'NR==2{printf "%.2f%%\t\t", $3*100/$2 }'
9.24%
```

`free -m` 是用于显示已使用和空闲内存的命令，输出如下：

```
[root@localhost tmp]# free -m
             total       used       free     shared    buffers     cached
Mem:           996         92        904          0         11         31
-/+ buffers/cache:         49        947
Swap:         1583          0       1583
```

但是，我们需要从上面的输出中获取第二行的总内存和已用内存。我们可以使用 AWK 来从给定输出中提取数据。

**AWK** 是一种用于文本处理和数据提取的编程语言。它是大多数 UNIX 系统的标准功能。`awk ‘NR==2’` 从第二行提取数据。`$3` 和 `$2` 分别充当已用量和总量。

## 监控磁盘

```
df -h | awk '$NF=="/"{printf "%s\t\t", $5}'
7%
```

第二个命令输出使用的磁盘百分比。`df -h` 输出与磁盘使用情况和分区相关的数据。

```
[root@localhost tmp]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root   14G  814M   12G   7% /
tmpfs                         499M     0  499M   0% /dev/shm
/dev/sda1                     485M   32M  428M   7% /boot
```

`awk $NF` 输出字段数。但是，`df -h | awk '$NF=="/"` 将转到包含字符 `/` 的那一行。`$5` 将从该行中选择第 5 个字段。这可确保该命令能够提取正确的磁盘使用百分比（在我们的示例中为 %7）。

## 监控 CPU

```
top -bn1 | grep load | awk '{printf "%.2f%%\t\t\n", $(NF-2)}'
```

`top -bn1` 命令将只执行一次 `top` 命令（`n1` = 一次迭代），当我们想在 bash 脚本中使用 `top` 或将其数据输出到文件时使用可以使用 `-b` 选项。

`grep load` 将输出包含字符串 `load` 的行。`$(NF-2)` 将计算该行上的字段数并减 2。

```
[root@localhost tmp]# top -bn1 | grep load
top - 19:31:25 up  1:47,  1 user,  load average: 0.00, 0.00, 0.00
```

在浏览完 bash 脚本的基本部分之后，我们需要将这些命令保存到变量 `MEMORY`、`DISK` 和 `CPU` 中：

```
MEMORY=$(free -m | awk 'NR==2{printf "%.2f%%\t\t", $3*100/$2 }')
DISK=$(df -h | awk '$NF=="/"{printf "%s\t\t", $5}')
CPU=$(top -bn1 | grep load | awk '{printf "%.2f%%\t\t\n", $(NF-2)}')
```

我们需要脚本运行一段时间（比如，一个小时）。为了做到这一点，我们需要使用 `while do` 循环，每次循环后延迟 x 秒（取决于您的测试）：

```
end=$((SECONDS+3600))
while [ $SECONDS -lt $end ]; do
echo "$MEMORY$DISK$CPU"
sleep 5
done
```

为了在一定时间内运行一次循环，我们可以定义一个变量 `$end`，它从 bash 脚本开始的时间开始计算当前的秒数，因此是 `SECONDS`，并在当前秒数上加上一个数字。所以一个小时就是 3600 秒。

上述代码片段的第二行指出，只要`$SECONDS`（当前秒数）小于 `$SECONDS+3600`，`while` 循环就会继续执行。因此，我们定义了循环的开始时间和结束时间，以及将每个循环暂停 5 秒的睡眠时间。循环内部是每 5 秒将那三个变量分配一次新值，以及将输出三个资源使用情况的 `echo "$MEMORY$DISK$CPU"`。

完整代码如下：

```
#! /bin/bash
printf "Memory\t\tDisk\t\tCPU\n"
end=$((SECONDS+3600))
while [ $SECONDS -lt $end ]; do
MEMORY=$(free -m | awk 'NR==2{printf "%.2f%%\t\t", $3*100/$2 }')
DISK=$(df -h | awk '$NF=="/"{printf "%s\t\t", $5}')
CPU=$(top -bn1 | grep load | awk '{printf "%.2f%%\t\t\n", $(NF-2)}')
echo "$MEMORY$DISK$CPU"
sleep 5
done
```

上面的代码将输出以下内容：

```
[root@localhost tmp]# ./stats.sh
Memory Disk CPU
9.34% 7% 0.00%
9.34% 7% 0.00%
9.34% 7% 0.00%
9.34% 7% 0.00%
^C[root@localhost tmp]#
```

您始终可以将数据输出到日志文件：

```
[root@localhost tmp]# ./stats.sh >> log.txt
```

## Stress 测试

![image-20220915083727372](http://pic.nexopera.tech/632273c823e00.png)

由于机器上几乎没有任何负载，我们可以使用 `stress` 来使 CPU 和内存负载一段时间。

使用以下命令安装（在 CentOS 上）：

```
[root@localhost tmp]# yum install stress
Failed to set locale, defaulting to C
Loaded plugins: fastestmirror
Determining fastest mirrors
epel/metalink                                                               | 4.2 kB     00:00     
 * base: ba.mirror.garr.it
 * epel: ftp.riken.jp
 * extras: centos.fastbull.org
 * updates: centos.fastbull.org
base                                                                        | 3.7 kB     00:00     
epel                                                                        | 4.3 kB     00:00     
epel/primary_db                                                             | 5.9 MB     00:37     
extras                                                                      | 3.4 kB     00:00     
extras/primary_db                                                           |  37 kB     00:00     
updates                                                                     | 3.4 kB     00:00     
updates/primary_db                                                          | 5.2 MB     00:30     
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package stress.x86_64 0:1.0.4-4.el6 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
===================================================================================================
 Package               Arch                  Version                     Repository           Size
===================================================================================================
Installing:
 stress                x86_64                1.0.4-4.el6                 epel                 36 k
Transaction Summary
===================================================================================================
Install       1 Package(s)
Total download size: 36 k
Installed size: 89 k
Is this ok [y/N]: y
Downloading Packages:
stress-1.0.4-4.el6.x86_64.rpm                                               |  36 kB     00:01     
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing : stress-1.0.4-4.el6.x86_64                                                       1/1 
  Verifying  : stress-1.0.4-4.el6.x86_64                                                       1/1 
Installed:
  stress.x86_64 0:1.0.4-4.el6                                                                      
Complete!
```

现在我们可以使用命令 `stress` 来负载我们的机器。例如，通过指定**两个 CPU 密集型进程**、**一个 I/O 密集型进程**和**一个内存分配器进程**，对系统施加 4 个平均负载，如下所示。以下压力测试将运行 1 小时。

```
[root@localhost tmp]# stress -c 2 -i 1 -m 1 --vm-bytes 128M -t 3600s
stress: info: [1574] dispatching hogs: 2 cpu, 1 io, 1 vm, 0 hdd
stress: info: [1574] successful run completed in 3600s
[root@localhost tmp]# ./stats.sh 
Memory  Disk  CPU
20.48%  7%  1.21%  
20.48%  7%  1.02%  
20.48%  7%  0.94%  
21.89%  7%  1.18%  
20.68%  7%  1.41%  
22.09%  7%  1.62%  
24.10%  7%  1.81%  
24.90%  7%  1.98%  
32.93%  7%  2.14%  
30.32%  7%  2.29%  
20.58%  7%  2.63%  
27.91%  7%  2.82%  
20.48%  7%  2.59%  
20.48%  7%  2.38%  
20.48%  7%  2.19%  
20.48%  7%  2.02%  
20.48%  7%  1.86%
```

关于如何为所有系统管理员创建一个非常容易且有用的 bash 脚本的教程到此结束。


如何用 10 行 bash shell 脚本监控 Linux

性能测试指标是衡量系统性能的评价标准，常用的系统性能测试指标包括：响应时间、并发用户/并发、点击率、吞吐量、TPS/QPS、PV/UV；Linux服务器常用的性能指标包括：CPU使用率、内存占用率、磁盘IO、系统平均负载等。

## 一 系统性能测试指标

### 1.1 响应时间

响应时间是指某个请求或操作从发出到接收到反馈所消耗的时间，包括应用服务器（客户端）处理时间、网络传输时间以及数据库服务器处理时间。比如一个页面从点击/输入到完全加载的时间；完成一次增加、删除、修改或者查询动作的事务响应时间等。

一个请求在网络上的传输往往要经历多个网络节点才能到达目标服务器，我们假设请求经历了三个网络节点的传输时间B1、B2、B3，客户端的处理时间为A，服务器的响应时间为C。则一次请求的完整路径可以描述为下图：

![图片](http://pic.nexopera.tech/62fdcd2211ec9.png)

客户端从发出请求到接收到服务器反馈的完整链路时间为A—>B1—>B2—>B3—>C（节点处理时间都包括接收和发送两个过程）。则请求的响应时间为：

响应时间=A+B1+B2+B3+C

### 1.2 并发

并发是指多个用户在同一时期内进行相同的事务处理或操作。由于用户在进行一系列操作流程时有一定的时间间隔（即用户思考时间）或者服务器处理请求有先后顺序，于是，就产生了绝对并发和相对并发概念的区分。

绝对并发是指同一时刻（即同一时间点）并发用户对服务器同时发送请求。

相对并发是指一段时间内（即同一时间区间）并发用户对服务器发送请求。

举个例子，一个并发量为10000人（可同时容纳10000人）的动物园，这里的并发量是指绝对并发还是相对并发呢？我们很容易理解，这个并发指的是相对并发，因为整个动物园是一个交织的网状结构，出入口、老虎、狮子、大象等各个动物站点都有分流的作用，基本不可能出现出入口或者站点能够同时承载10000人的情况，出入口的并发可能只有200人。

因此这个动物园的例子里，并发量10000是指各个节点的总和，参观者参观动物园有路径的先后顺序，是相对并发的概念。而出入口的并发量是200人，则是指同一时间在出入口能够同时容纳200人，这就是绝对并发的概念。

![图片](http://pic.nexopera.tech/62fdcd2244d73.png)

一般来说，在系统的性能测试中，系统或者模块的并发更多是指相对并发，而接口的并发更倾向于绝对并发。并发性能的概念是指系统、模块或接口稳定运行，不抛出异常情况下所能够承载的并发量。

在并发性能测试中常用到并发用户数和并发请求数两个指标。顾名思义，并发用户数是指同一时间（点或区间），系统、模块或接口能够承载的用户数量；并发请求数是指同一时间（点或区间），系统、模块或接口能够承载的请求数量。

### 1.3 点击量/点击率

点击量是衡量网站流量的一个指标，也就是点击数clicks，是对网站点击数据的统计。

点击率（Clicks Ratio）也可以叫做点进率（“Click-through Rate），它是网站上某一内容被点击的次数与整个网站内容被显示次数之比，即clicks/views。反应了网站上某一页面或内容的受关注程度，经常用来衡量广告的吸引程度。比如公众号的一篇文章被浏览了10w次，文章中的广告链接被点击了2000次，那么这条广告的点击率是2%（2000/100000*100%）。

在性能测试领域，点击率（hit rate）常指单位时间内（每秒钟）页面的点击数，即每秒钟发送的http请求数量，点击率越大对服务器造成的压力也越大，对服务器的性能要求也越高。

有些人容易混淆点击率和点击量的概念，比如我们经常会听到有人说某网站的点击率是多多万，实际上这里的点击率指的是点击量，曝光率或者说页面浏览量。

### 1.4 吞吐量/吞吐率

吞吐量是指系统处理客户请求数量的总和，可以指网络上传输数据包的总和，也可以指业务中客户端与服务器交互数据量的总和。

吞吐率是指单位时间内系统处理客户请求的数量，也就是单位时间内的吞吐量。可以从多个维度衡量吞吐率：①业务角度：单位时间（每秒）的请求数或页面数，即请求数/秒或页面数/秒；②网络角度：单位时间（每秒）网络中传输的数据包大小，即字节数/秒等；③系统角度，单位时间内服务器所承受的压力，即系统的负载能力。

吞吐率（或吞吐量）是一种多维度量的性能指标，它与请求处理所消耗的CPU、内存、IO和网络带宽都强相关。

### 1.5 TPS/QPS

TPS（Transaction Per Second）是指单位时间（每秒）系统处理的事务量。事务可以是用户自定义的一系列操作或者动作的集合，比如“用户注册“事务是点击注册按钮，填写用户注册信息，点击提交按钮，以及加载注册成功页面的动作集合。

QPS（Query Per Second）是指单位时间内查询或访问服务器的次数。

TPS和QPS的区别在于一个事务可以包含多次查询或访问服务器，也可以只查询或访问一次服务器。当多次查询或访问时，一个TPS相当于多个QPS；当只查询或访问一次时，一个TPS则等价于一个QPS。

### 1.6 PV/UV

PV和UV是衡量web网站性能容量的两个重要度量指标，经常用在电子商务网站领域中用来衡量网站的活跃度。

PV（Page View）是页面的浏览量或点击量，用户对系统或者网站任何页面的每一次点击或者访问都会被记录一次浏览量或点击量，对相同页面进行多次访问浏览量或点击量也会进行累计。

UV（Unique Vistor）是系统或者网站的独立访客，一段时间内相同客户端（或PC）访问系统或者网站只会被记录一次，连续重复访问或者浏览多个系统页面次数不会进行累计。

PV和UV按照统计周期划分，可以划分为全天PV、每小时PV、全天UV和每小时UV等。在一些数据或交易量非常庞大的场景中，比如双11或618等全民购物活动时，常常还会统计峰值PV和峰值UV。

## 二 Linux服务器性能指标

### 2.1 CPU使用率

CPU使用率是单位时间内服务器CPU的使用统计，可以用除CPU空闲时间外其他时间占总CPU时间的百分比来表示，即：CPU使用率=1-CPU空闲时间/总CPU时间

> 命令：#top //top工具间隔3s会动态滚动更新一次数据

![图片](http://pic.nexopera.tech/62fdcd22463b0.png)

字段说明：

us (user)：用户态的CPU使用时间比例，是用户运行程序的真正时间，它不包括后面的ni时间；

sy (system): 内核态的CPU使用时间比例，是操作系统的运行时间，操作系统运行时，用户运行程序往往处于等待状态；

ni (nice): 表示低优先级用户态的CPU时间比例，取值范围为[-20,19]，数值越大，则优先级越低；

id (idle): 表示空闲的CPU时间比例，值越大，CPU空闲时间比例越高，利用率越低；

wa (iowait): 表示处于IO等待状态的CPU时间比例；

hi (hard interrupt): 表示处理硬中断的CPU时间比例；

si (soft interrupt): 与hi相反，表示处理软中断的CPU时间比例；

st (steal): 表示当前系统运行在虚拟机中被其他虚拟机占用的CPU时间比例。

在性能测试中，系统整体的CPU使用率可以用（1-id）来计算。当us很高时，说明CPU时间主要消耗在用户代码上，可以从用户代码角度考虑优化性能；当sy很高时，说明CPU时间主要消耗在内核上，可以从是否系统调用频繁、CPU进程或线程切换频繁角度考虑性能的优化；当wa很高时，说明有进程在进行频繁的IO操作，可能是磁盘IO或者网络IO。

一般情况下，如果%us+%sy<=70%，我们可以认为系统的运行状态良好。

### 2.2 内存占用率

Linux的系统内存管理机制遵循内存利用率最大化的原则。内核会将空余的内存划分为cached（不属于free），对于有频繁读取操作的文件或数据会被保存在cached中。因此，对于linux系统来说，可用于分配的内存不止free的内存，同时还包括cached的内存（其实还包括buffers的内存）。

cached和buffers都属于缓存，它们的区别主要在于cached主要用来缓冲频繁读取的文件，它可以直接记忆我们打开的文件内容；而buffers主要用来给块设备做的缓冲大小，只记录文件系统的metadata以及tracking in-flight pages信息，比如存储目录里面的内容，权限等。

top工具既可以查看系统CPU使用情况，也可以查看系统内存使用信息。

> 命令：#top

![图片](http://pic.nexopera.tech/62fdcd223283b.png)

在性能测试中，经常会用到系统已用内存、物理已用内存、系统内存占用率以及物理内存占用率这几个指标，它们的计算公式如下：

系统已用内存MemUsed=MemTotal-MemFree //包含buffers和cached

物理已用内存-/+Used= MemTotal-MemFree-MemBuffers-MemCached

系统内存占用率MemUsed%=（MemUsed/ MemTotal）*100%

物理内存占用率-/+Used%=(-/+Used/ MemTotal）*100%

一般情况下，系统内存占用率<=70%，我们可以认为系统的内存使用情况良好，如果超出则说明系统内存资源紧张。

### 2.3 系统平均负载

当发现系统出现卡断或者运行不顺畅时，我们可以通过uptime，top或者w命令来查看系统的负载情况。

> 命令1：#uptime

![图片](http://pic.nexopera.tech/62fdcd22585f1.png)

> 命令2：#top

![图片](http://pic.nexopera.tech/62fdcd2239609.png)

> 命令3：#w

![图片](http://pic.nexopera.tech/62fdcd2280236.png)

Linux的load average表示系统负载的平均值，显示的三个数值分别表示1分钟、5分钟和15分钟内的平均负载情况。这里的平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，可以简单的理解为平均负载就是系统平均活跃进程数。

其中可运行状态是指正在使用CPU或者正在等待CPU的进程（处于R状态：Running或者Runnable的进程）；不可中断状态的进程指的是正处于内核态关键流程中的进程，处于这个流程的进程是不可打断的，比如等待硬件设备的I/O响应。

举个例子，当平均负载的值为4：

对于只有1个CPU的系统，意味着平均有3个进程竞争不到CPU；

对于拥有4个CPU的系统，意味着CPU利用率为100%；

对于拥有8个CPU的系统，意味着CPU利用率为50%，有一半空闲。

可以看出，当系统平均负载的值如果超过系统CPU的数量时，那么系统有可能会遇到性能瓶颈，要视具体情况而定。

在性能测试中，我们也经常会通过比较1min、5min或者15min的值，来判断系统平均负载的变化情况：

如果1min的值大于5min或者15min的值，说明负载在增加；

如果1min的值小于5min或者15min的值，说明负载在减小；

### 2.4 磁盘IO

Linux服务器性能除了CPU和内存外，还有磁盘IO也是一种常用的性能指标。

> 命令：#iostat –x –k 2 3 //每隔2S输出磁盘IO的使用情况，共采样3次

![图片](http://pic.nexopera.tech/62fdcd22a3bd0.png)

通过ll /dev/mapper命令可以查看dm-x与磁盘逻辑卷的映射关系;

![图片](http://pic.nexopera.tech/62fdcd229e3ab.png)

字段说明：

rrqm/s: 每秒对该设备的读请求被合并次数，文件系统会对读取同块(block)的请求进行合并；

wrqm/s: 每秒对该设备的写请求被合并次数；

r/s: 每秒完成的读次数；

w/s: 每秒完成的写次数；

rkB/s: 每秒读数据量(kB为单位)；

wkB/s: 每秒写数据量(kB为单位)；

avgrq-sz:平均每次IO操作的数据量(扇区数为单位)；

avgqu-sz: 平均等待处理的IO请求队列长度；

await: 平均每次IO请求等待时间(包括等待时间和处理时间，毫秒为单位)；

svctm: 平均每次IO请求的处理时间(毫秒为单位)；

%util: 采用周期内用于IO操作的时间比率，即IO队列非空的时间比率；

在性能测试中，我们可以重点关注iowait%和%util参数。其中iowait% 表示CPU等待IO时间占整个CPU周期的百分比，如果iowait值超过50%，或者明显大于%system、%user以及%idle，表示IO可能存在问题了；%util表示磁盘忙碌的情况，一般%util<=70%表示该磁盘IO使用状态良好。

### 2.5 linux常用性能命令

#### 2.5.1 CPU

> 命令1: # cat /proc/cpuinfo //获取CPU详情

![图片](http://pic.nexopera.tech/62fdcd22c6749.png)

> 命令2: # top //包含CPU、内存使用等情况，常用命令

![图片](http://pic.nexopera.tech/62fdcd22d0bf4.png)

#### 2.5.2 内存

> 命令1：# free –h

![图片](http://pic.nexopera.tech/62fdcd22cba52.png)

> 命令2：# top

![图片](http://pic.nexopera.tech/62fdcd22d0bf4.png)

#### 2.5.3 负载

> 命令1：#uptime

![图片](http://pic.nexopera.tech/62fdcd2280236.png)

> 命令2：#top

![图片](http://pic.nexopera.tech/62fdcd2239609.png)

> 命令3：#w

![图片](http://pic.nexopera.tech/62fdcd22d0bf4.png)

#### 2.5.4 磁盘

> 命令1: #fdisk –l //查看硬盘及分区情况

![图片](http://pic.nexopera.tech/62fdcd22f068b.png)

> 命令2：# df –h //查看文件系统的磁盘空间使用情况

![图片](http://pic.nexopera.tech/62fdcd23097ea.png)

#### 2.5.5 整体

> 命令：# vmstat 3 2 //每3秒一次，共2次

![图片](http://pic.nexopera.tech/62fdcd231d358.png)


Linux 性能测试之性能测试指标详解

微服务架构和相关的组件

Nexopera是一个专注于Linux、网络和运维等领域的博客网站。将为读者提供广泛的相关文章，涵盖操作系统、服务器管理、网络配置、安全性等多个主题。如果你是初学者，希望这里有适合你的内容。

前言