Linux系統(tǒng)資源監(jiān)控報(bào)告一、概述

本報(bào)告旨在提供Linux系統(tǒng)資源監(jiān)控的全面指南，幫助系統(tǒng)管理員和開(kāi)發(fā)人員有效監(jiān)控和管理系統(tǒng)資源。報(bào)告內(nèi)容涵蓋資源監(jiān)控的重要性、常用工具、監(jiān)控方法和最佳實(shí)踐。通過(guò)本報(bào)告，讀者將能夠掌握如何識(shí)別資源瓶頸、優(yōu)化系統(tǒng)性能，并確保Linux系統(tǒng)的穩(wěn)定運(yùn)行。

二、資源監(jiān)控的重要性

（一）識(shí)別性能瓶頸

資源監(jiān)控能夠幫助管理員及時(shí)發(fā)現(xiàn)系統(tǒng)中的性能瓶頸，如CPU、內(nèi)存、磁盤I/O和網(wǎng)絡(luò)帶寬的過(guò)度使用。通過(guò)監(jiān)控，可以快速定位問(wèn)題源頭，采取相應(yīng)措施，避免系統(tǒng)崩潰或響應(yīng)緩慢。

（二）優(yōu)化系統(tǒng)性能

（三）確保系統(tǒng)穩(wěn)定

資源監(jiān)控有助于預(yù)防潛在的系統(tǒng)故障。通過(guò)設(shè)置閾值和告警機(jī)制，可以在資源使用超過(guò)安全范圍時(shí)及時(shí)通知管理員，采取預(yù)防措施，降低系統(tǒng)崩潰的風(fēng)險(xiǎn)。

三、常用監(jiān)控工具

（一）top命令

1.實(shí)時(shí)監(jiān)控進(jìn)程資源使用情況

-使用方法：`top-c`（顯示完整進(jìn)程名）

-關(guān)鍵參數(shù)：`-n`（指定刷新次數(shù)）、`-b`（批處理模式）

2.查看CPU和內(nèi)存使用情況

-CPU狀態(tài)：`%Cpu(s)`（用戶、系統(tǒng)、空閑）

-內(nèi)存狀態(tài)：`Mem:`（總量、使用量、空閑量）

（二）htop命令

1.圖形化進(jìn)程監(jiān)控

-安裝方法：`sudoapt-getinstallhtop`

-使用方法：`htop`（實(shí)時(shí)顯示進(jìn)程和資源使用）

2.高級(jí)功能

-過(guò)濾進(jìn)程：`Shift+Space`（切換顯示模式）

-排序進(jìn)程：`Shift+M`（按內(nèi)存排序）、`Shift+P`（按CPU排序）

（三）vmstat命令

1.監(jiān)控系統(tǒng)性能指標(biāo)

-使用方法：`vmstat1`（每秒刷新一次）

-關(guān)鍵參數(shù)：

-`ps`（進(jìn)程狀態(tài)）

-`us`（用戶CPU使用率）

-`sy`（系統(tǒng)CPU使用率）

-`id`（空閑CPU使用率）

2.示例數(shù)據(jù)

-示例輸出：

```

[0.00]00000000000

[0.01]00000000000

[0.02]00000000000

```

（四）iostat命令

1.監(jiān)控磁盤I/O性能

-使用方法：`iostat-mx`（詳細(xì)模式）

-關(guān)鍵參數(shù)：

-`r/s`（每秒讀取次數(shù)）

-`w/s`（每秒寫入次數(shù)）

-`avgqu-sz`（平均隊(duì)列長(zhǎng)度）

2.示例數(shù)據(jù)

```

Device:0123456789101112131415

[0.00]0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

[0.01]0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

```

四、監(jiān)控方法

（一）實(shí)時(shí)監(jiān)控

1.使用top或htop命令

-步驟：

1.打開(kāi)終端

2.輸入命令（如`top-c`）

3.查看實(shí)時(shí)資源使用情況

2.設(shè)置自動(dòng)刷新

-使用方法：`top-d1`（每秒刷新一次）

-適用于需要持續(xù)觀察系統(tǒng)狀態(tài)的場(chǎng)景

（二）日志監(jiān)控

1.使用sysstat工具

-安裝方法：`sudoapt-getinstallsysstat`

-配置方法：

-編輯`/etc/sysconfig/sysstat`文件

-設(shè)置`SMAP`為`yes`（啟用內(nèi)存訪問(wèn)統(tǒng)計(jì)）

2.查看日志文件

-日志路徑：`/var/log/sysstat/`（如`sysstat.log`）

-分析工具：`sar`（系統(tǒng)活動(dòng)報(bào)告）

（三）遠(yuǎn)程監(jiān)控

1.使用SNMP協(xié)議

-安裝方法：`sudoapt-getinstallsnmpd`

-配置方法：

-編輯`/etc/snmp/snmpd.conf`文件

-設(shè)置社區(qū)字符串

2.使用Zabbix或Nagios

-安裝方法：

-Zabbix：`sudoapt-getinstallzabbix-server-mysqlzabbix-frontend-phpzabbix-agent`

-Nagios：`sudoapt-getinstallnagios3nagios-nrpe-servernagios-plugins`

五、最佳實(shí)踐

（一）設(shè)置監(jiān)控閾值

1.定義關(guān)鍵指標(biāo)閾值

-CPU使用率：超過(guò)80%觸發(fā)告警

-內(nèi)存使用率：低于10%觸發(fā)告警

-磁盤空間：低于20%觸發(fā)告警

2.配置告警方式

-郵件告警：編輯`/etc/zabbix/zabbix.conf.d/zabbix_email.conf`

-消息推送：集成釘釘或企業(yè)微信API

（二）定期分析報(bào)告

1.使用sar生成報(bào)告

-命令：`sar-u124`（生成24小時(shí)CPU使用率報(bào)告）

-輸出：`/var/log/sysstat/sar-2023-10-26`目錄

2.分析報(bào)告內(nèi)容

-關(guān)注高峰時(shí)段

-識(shí)別長(zhǎng)期趨勢(shì)

（三）優(yōu)化資源配置

1.根據(jù)監(jiān)控?cái)?shù)據(jù)調(diào)整參數(shù)

-調(diào)整swappiness值：`sudosysctlvm.swappiness=10`

-調(diào)整文件描述符限制：`ulimit-n65536`

2.升級(jí)硬件設(shè)備

-根據(jù)使用情況增加內(nèi)存或更換更快的硬盤

六、總結(jié)

Linux系統(tǒng)資源監(jiān)控是保障系統(tǒng)穩(wěn)定運(yùn)行的重要手段。通過(guò)使用top、htop、vmstat、iostat等工具，結(jié)合實(shí)時(shí)監(jiān)控、日志分析和遠(yuǎn)程監(jiān)控方法，管理員可以全面掌握系統(tǒng)狀態(tài)。設(shè)置合理的閾值和告警機(jī)制，定期分析報(bào)告，并根據(jù)監(jiān)控?cái)?shù)據(jù)進(jìn)行優(yōu)化，能夠有效提升系統(tǒng)性能和穩(wěn)定性。本報(bào)告提供的方法和步驟可供參考，幫助讀者更好地實(shí)施Linux系統(tǒng)資源監(jiān)控。

二、資源監(jiān)控的重要性（續(xù)）

（一）識(shí)別性能瓶頸（續(xù)）

1.具體表現(xiàn)與定位：

CPU瓶頸：當(dāng)CPU使用率持續(xù)處于高位（例如，長(zhǎng)時(shí)間超過(guò)85%），并且`top`或`htop`顯示某個(gè)特定進(jìn)程（或多個(gè)進(jìn)程）占據(jù)了絕大部分CPU資源時(shí)，表明系統(tǒng)存在CPU瓶頸。這可能是由計(jì)算密集型任務(wù)、循環(huán)邏輯效率低下、或線程競(jìng)爭(zhēng)不均引起的。

排查步驟：

1.使用`top-c-H-o%cpu`查看每個(gè)線程的CPU占用情況。

2.結(jié)合`psauxf|grep<process_name>`查看進(jìn)程的詳細(xì)命令行和關(guān)聯(lián)的線程。

3.分析代碼或配置，查找優(yōu)化點(diǎn)（如算法改進(jìn)、并行處理、減少不必要的計(jì)算）。

內(nèi)存瓶頸：

Swap使用：當(dāng)`free-m`命令顯示`SwapUsed`持續(xù)增加，甚至接近`SwapTotal`時(shí)，表明物理內(nèi)存不足，系統(tǒng)開(kāi)始頻繁使用交換空間。這會(huì)顯著降低系統(tǒng)性能。

排查步驟：

1.使用`htop`觀察哪些進(jìn)程占用了大量?jī)?nèi)存。

2.使用`sudosmem-s`或`sar-r110`查看內(nèi)存和交換空間的使用歷史。

3.分析是否因內(nèi)存泄漏（進(jìn)程內(nèi)存占用持續(xù)增長(zhǎng)）、內(nèi)存分配不當(dāng)或并發(fā)進(jìn)程過(guò)多導(dǎo)致。

OOMKiller：如果系統(tǒng)出現(xiàn)`oom-killer`運(yùn)行，會(huì)強(qiáng)制殺死占用過(guò)多內(nèi)存的進(jìn)程。這通常需要立即關(guān)注和解決內(nèi)存問(wèn)題。

磁盤I/O瓶頸：

高IOPS或延遲：使用`iostat-mx110`監(jiān)控時(shí)，如果`await`（平均等待時(shí)間）顯著升高，或`r/s`和`w/s`數(shù)值異常高且`avgqu-sz`（平均隊(duì)列長(zhǎng)度）也高，表明磁盤I/O成為瓶頸。

排查步驟：

1.使用`iotop-o`查看哪個(gè)進(jìn)程占用了最多的磁盤操作。

2.檢查磁盤健康狀況（如使用`smartctl-a/dev/sda`）。

3.分析磁盤讀寫操作的類型（順序讀寫vs隨機(jī)讀寫），考慮是否可以通過(guò)調(diào)整工作模式、增加緩存或使用更快的存儲(chǔ)介質(zhì)來(lái)優(yōu)化。

4.檢查文件系統(tǒng)是否存在碎片化（對(duì)于某些文件系統(tǒng)類型）。

網(wǎng)絡(luò)帶寬瓶頸：

高流量或丟包：使用`iftop-ieth0`或`nloadeth0`監(jiān)控網(wǎng)絡(luò)接口流量。如果網(wǎng)絡(luò)接口持續(xù)處于接近滿速的傳輸狀態(tài)，或者`ping`測(cè)試顯示丟包率升高，表明網(wǎng)絡(luò)帶寬不足或網(wǎng)絡(luò)質(zhì)量不佳。

排查步驟：

1.使用`netstat-tulnp`或`ss-tulnp`查看占用網(wǎng)絡(luò)帶寬的進(jìn)程。

2.檢查網(wǎng)絡(luò)配置（如MTU設(shè)置）。

3.分析網(wǎng)絡(luò)拓?fù)浜椭虚g設(shè)備（如交換機(jī)、路由器）的性能。

（二）優(yōu)化系統(tǒng)性能（續(xù)）

1.針對(duì)性優(yōu)化措施：

CPU優(yōu)化：

進(jìn)程優(yōu)先級(jí)調(diào)整：使用`nice`和`renice`命令調(diào)整進(jìn)程的優(yōu)先級(jí)，將重要進(jìn)程置為更高優(yōu)先級(jí)。

線程池使用：對(duì)于需要大量并發(fā)的應(yīng)用，使用線程池來(lái)管理線程，避免創(chuàng)建銷毀帶來(lái)的開(kāi)銷。

內(nèi)核參數(shù)調(diào)優(yōu)：修改`/etc/sysctl.conf`或`/proc`文件系統(tǒng)中的相關(guān)參數(shù)，如`nr_hup`（允許的最大掛起操作數(shù)）、`max_map_count`（內(nèi)存映射文件數(shù)量限制）等，以適應(yīng)應(yīng)用負(fù)載。

內(nèi)存優(yōu)化：

緩存策略：調(diào)整應(yīng)用或系統(tǒng)級(jí)別的緩存大小和策略，如Java應(yīng)用的`-Xmx`和`-Xms`參數(shù)。

內(nèi)存回收：對(duì)于數(shù)據(jù)庫(kù)等應(yīng)用，優(yōu)化其內(nèi)存回收機(jī)制和策略。

減少連接數(shù)：限制同時(shí)連接的數(shù)量，減少內(nèi)存占用。

磁盤I/O優(yōu)化：

使用SSD：將系統(tǒng)盤、數(shù)據(jù)庫(kù)盤或日志盤更換為SSD，顯著提升IOPS和降低延遲。

RAID配置：根據(jù)需求配置合適的RAID級(jí)別（如RAID10提高性能和容錯(cuò)能力）。

索引優(yōu)化：對(duì)于數(shù)據(jù)庫(kù)，優(yōu)化索引結(jié)構(gòu)，減少全表掃描。

異步寫入：對(duì)于日志等對(duì)實(shí)時(shí)性要求不高的操作，采用異步寫入方式。

網(wǎng)絡(luò)優(yōu)化：

帶寬升級(jí)：如果帶寬確實(shí)是瓶頸，考慮升級(jí)網(wǎng)絡(luò)帶寬。

負(fù)載均衡：使用負(fù)載均衡器分發(fā)請(qǐng)求，減輕單臺(tái)服務(wù)器的網(wǎng)絡(luò)壓力。

壓縮傳輸：?jiǎn)⒂肎zip或Brotli等壓縮算法，減少傳輸數(shù)據(jù)量。

DNS優(yōu)化：使用高性能的DNS服務(wù)器。

（三）確保系統(tǒng)穩(wěn)定

1.預(yù)防性監(jiān)控：

閾值設(shè)置與告警：如前所述，為關(guān)鍵資源指標(biāo)設(shè)置合理的閾值，并結(jié)合郵件、短信（需配置發(fā)送網(wǎng)關(guān)）或?qū)Ｓ酶婢脚_(tái)（如Prometheus+Alertmanager）實(shí)現(xiàn)自動(dòng)告警。告警規(guī)則應(yīng)區(qū)分不同級(jí)別（如Critical,Warning,Info）。

示例告警規(guī)則：

CPU使用率>90%for5minutes->Critical

內(nèi)存使用率>85%for10minutes->Warning

磁盤空間<15%for1hour->Critical

磁盤I/Oawait>50msfor1minute->Warning

長(zhǎng)期趨勢(shì)分析：定期（如每天、每周）生成和查閱資源使用報(bào)告（使用`sar`命令），分析資源使用的長(zhǎng)期趨勢(shì)，預(yù)測(cè)未來(lái)可能的瓶頸或容量需求。

常用`sar`命令示例：

`sar-u11440`：連續(xù)24小時(shí)每分鐘采樣一次CPU使用率。

`sar-d11440`：連續(xù)24小時(shí)每分鐘采樣一次磁盤活動(dòng)。

`sar-r11440`：連續(xù)24小時(shí)每分鐘采樣一次內(nèi)存統(tǒng)計(jì)。

`sar-nDEV11440`：連續(xù)24小時(shí)每分鐘采樣網(wǎng)絡(luò)設(shè)備統(tǒng)計(jì)。

`sar-B11440`：連續(xù)24小時(shí)每分鐘采樣塊設(shè)備（磁盤）的塊操作統(tǒng)計(jì)。

日志審計(jì)與關(guān)聯(lián)：結(jié)合系統(tǒng)日志（`/var/log/syslog`或`journalctl`）和應(yīng)用日志，通過(guò)關(guān)鍵詞搜索或日志分析工具（如ELKStack）關(guān)聯(lián)資源使用情況和系統(tǒng)事件，進(jìn)行更深入的問(wèn)題排查。例如，在高CPU使用時(shí)段關(guān)聯(lián)查看應(yīng)用錯(cuò)誤日志。

三、常用監(jiān)控工具（續(xù)）

（一）top命令（續(xù)）

1.實(shí)時(shí)監(jiān)控進(jìn)程資源使用情況（續(xù)）

關(guān)鍵參數(shù)詳解：

`-c`或`--full-commands`：顯示完整的進(jìn)程命令行，而非縮寫。

`-b`或`--batch`：以批處理模式運(yùn)行，將輸出重定向到文件或管道。適用于生成報(bào)告。

`-n<number>`或`--lines<number>`：指定top命令運(yùn)行多少次后退出（對(duì)于`-b`模式，指定輸出多少行）。

`-d<number>`或`--delay<number>`：指定刷新間隔（單位為秒）。

`k`：按內(nèi)存使用量排序。

`m`：按內(nèi)存使用量排序。

`M`：按CPU使用率排序。

`P`：按CPU使用率排序。

`S`：切換CPU統(tǒng)計(jì)模式（用戶+系統(tǒng)vs僅用戶）。

`h`：顯示幫助信息。

交互操作：

`h`：幫助

`k<PID><signal>`：向指定進(jìn)程發(fā)送信號(hào)（如`1`退出，`9`殺死）。

`q`：退出top命令。

`?`：獲取幫助。

`Shift+F`：切換顯示或隱藏進(jìn)程的完整命令行。

`Shift+M`：按內(nèi)存使用量排序。

`Shift+P`：按CPU使用率排序。

`space`：手動(dòng)刷新顯示。

`Shift+L`：切換日志模式（顯示歷史數(shù)據(jù)）。

`/<string>`：搜索包含指定字符串的進(jìn)程。

`0`：將排序條件切換到PID。

2.查看CPU和內(nèi)存使用情況（續(xù)）

CPU狀態(tài)詳解：

`%Cpu(s)`：顯示CPU使用情況的總覽。

`us`（User）：用戶空間程序占用的CPU百分比。

`sy`（System）：內(nèi)核空間程序占用的CPU百分比。

`ni`（Nice）：低優(yōu)先級(jí)用戶空間程序占用的CPU百分比（實(shí)際上是由內(nèi)核調(diào)度，優(yōu)先級(jí)降低）。

`id`（Idle）：CPU空閑時(shí)間占用的百分比。

`wa`（I/Owait）：CPU等待I/O操作完成的時(shí)間占用的百分比。

`hi`（Hardwareinterrupt）：硬件中斷占用的CPU百分比。

`si`（Softwareinterrupt）：軟件中斷占用的CPU百分比。

`st`（Steal）：虛擬化環(huán)境中的偷竊時(shí)間占用的CPU百分比（僅虛擬機(jī)可見(jiàn)）。

解讀示例：如果`%Cpu(s)`顯示`0.0%us,10.0%sy,0.0%ni,90.0%id`，表示CPU主要處于空閑狀態(tài)，大部分時(shí)間在等待。

內(nèi)存狀態(tài)詳解：

`Mem:`：物理內(nèi)存使用情況。

`total`：總物理內(nèi)存大小。

`used`：已使用的物理內(nèi)存大小。

`free`：空閑的物理內(nèi)存大小。

`shared`：被多個(gè)進(jìn)程共享的內(nèi)存大小。

`buffers`：內(nèi)核用于緩沖文件系統(tǒng)讀寫操作的內(nèi)存大小。

`cached`：內(nèi)核用于緩存文件系統(tǒng)數(shù)據(jù)的內(nèi)存大?。ㄟ@部分內(nèi)存釋放后通常不會(huì)立即分配給其他進(jìn)程，因?yàn)樗鼈兛赡芎芸鞎?huì)被再次讀?。?。

`Swap:`：交換空間使用情況。

`total`：總交換空間大小。

`used`：已使用的交換空間大小。

`free`：空閑的交換空間大小。

解讀示例：如果`free`非常低，而`buffers`和`cached`占比不高，可能表明內(nèi)存不足。

（二）htop命令（續(xù)）

1.圖形化進(jìn)程監(jiān)控（續(xù)）

安裝方法（Debian/Ubuntu系統(tǒng)示例）：

```bash

sudoaptupdate

sudoaptinstallhtop

```

安裝方法（CentOS/RHEL系統(tǒng)示例）：

```bash

sudoyuminstallhtop

或

sudodnfinstallhtop

```

使用方法與交互（續(xù)）：

啟動(dòng)：在終端直接輸入`htop`并按回車。

實(shí)時(shí)刷新：按下`F5`鍵。

切換用戶視圖：按下`Shift+U`鍵，輸入用戶名后按回車。

過(guò)濾進(jìn)程：

按下`F2`鍵，進(jìn)入過(guò)濾設(shè)置。

可以按進(jìn)程名稱、PID、用戶、狀態(tài)等進(jìn)行過(guò)濾。

使用``作為通配符。

按`Enter`確認(rèn)過(guò)濾，按`Esc`取消。

也可以直接在屏幕上按`/`鍵，然后輸入過(guò)濾字符串，按`Enter`應(yīng)用。

排序：

按下`Shift+M`鍵：按內(nèi)存使用量排序（升序或降序）。

按下`Shift+P`鍵：按CPU使用率排序（升序或降序）。

可以通過(guò)鼠標(biāo)拖動(dòng)列標(biāo)題來(lái)改變排序方式。

選擇進(jìn)程：使用方向鍵選中進(jìn)程。

打開(kāi)終端：按下`Enter`鍵。

查看樹狀進(jìn)程關(guān)系：按下`Shift+H`鍵。

殺死進(jìn)程：按下`F9`鍵，然后輸入要?dú)⑺赖倪M(jìn)程PID并按回車（會(huì)提示選擇信號(hào)，通常選擇`9`）。

結(jié)束進(jìn)程：按下`F10`鍵，然后輸入要結(jié)束的進(jìn)程PID并按回車。

顯示/隱藏列：按下`F6`鍵，然后使用方向鍵選擇要顯示或隱藏的列，按`Enter`確認(rèn)。

顯示/隱藏系統(tǒng)信息：按下`F7`鍵，可以顯示或隱藏CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等信息面板。

設(shè)置：按下`S`鍵，可以調(diào)整多種顯示設(shè)置，如刷新率、是否顯示顏色、是否顯示用戶等。

2.高級(jí)功能（續(xù)）

Shift+Space：切換顯示模式。

NormalMode：顯示進(jìn)程的CPU和內(nèi)存使用情況。

TreeMode：以樹狀結(jié)構(gòu)顯示進(jìn)程的父子關(guān)系。

GraphMode：顯示CPU和內(nèi)存使用的實(shí)時(shí)圖表。

Shift+M：按內(nèi)存使用量排序?？梢园瓷舷录^調(diào)整排序優(yōu)先級(jí)。

Shift+P：按CPU使用率排序?？梢园瓷舷录^調(diào)整排序優(yōu)先級(jí)。

鼠標(biāo)操作：

右鍵點(diǎn)擊進(jìn)程：彈出菜單，可以選擇查看詳細(xì)信息、打開(kāi)終端、發(fā)送信號(hào)（如終止）等。

拖動(dòng)列分隔線：調(diào)整列寬。

拖動(dòng)進(jìn)程行：改變進(jìn)程在列表中的順序。

顏色高亮：htop默認(rèn)根據(jù)資源使用情況對(duì)進(jìn)程進(jìn)行顏色編碼，方便快速識(shí)別高資源占用進(jìn)程?？梢栽谠O(shè)置中調(diào)整顏色方案。

（三）vmstat命令（續(xù)）

1.監(jiān)控系統(tǒng)性能指標(biāo)（續(xù)）

基本使用方法：

`vmstat110`：每秒采樣一次，共采樣10次。這是最常用的方式，能清晰地看到每秒的變化。

`vmstat250`：每2秒采樣一次，共采樣50次。

`vmstat1`：無(wú)限期每秒采樣一次，按`Ctrl+C`停止。

關(guān)鍵參數(shù)詳解（續(xù)）：

`ps`（Processes）：進(jìn)程狀態(tài)信息。

`r`（Running/Runqueue）：在運(yùn)行隊(duì)列中等待CPU的時(shí)間（小于或等于`maxrss`的進(jìn)程數(shù)）。

`b`（Blocked）：等待I/O的進(jìn)程數(shù)。

`us`（UserCPU）：用戶空間程序使用的CPU百分比。

`sy`（SystemCPU）：內(nèi)核空間程序使用的CPU百分比。

`id`（IdleCPU）：CPU空閑時(shí)間占用的百分比。

`wa`（I/OwaitCPU）：CPU等待I/O操作完成的時(shí)間占用的百分比。

`st`（StealCPU）：虛擬化環(huán)境中的偷竊時(shí)間占用的CPU百分比。

`[swpd]`（Swapused）：當(dāng)前使用的交換空間量（單位為KB）。

`[free]`（Freememory）：空閑內(nèi)存量（單位為KB）。

`[buff]`（Bufferedmemory）：用于緩沖文件系統(tǒng)操作的內(nèi)存量（單位為KB）。

`[cache]`（Cachedmemory）：用于緩存文件系統(tǒng)數(shù)據(jù)的內(nèi)存量（單位為KB）。

`[in]`（Pagesin）：每秒從交換空間或磁盤讀入內(nèi)存的頁(yè)數(shù)。

`[out]`（Pagesout）：每秒從內(nèi)存寫出到交換空間或磁盤的頁(yè)數(shù)。

`[ps`或`p`](Pagefaults/sec)：每秒發(fā)生的頁(yè)面錯(cuò)誤次數(shù)。

`[cs`或`c`](Contextswitches/sec)：每秒發(fā)生的上下文切換次數(shù)。

解讀示例：如果`wa`持續(xù)很高（如30%或以上），表明系統(tǒng)存在較嚴(yán)重的I/O瓶頸，CPU經(jīng)常需要等待磁盤操作完成。

2.示例數(shù)據(jù)（續(xù)）

輸出格式說(shuō)明：

第一行是時(shí)間戳。

第二行是各列標(biāo)題。

后續(xù)行是每秒采樣的數(shù)據(jù)。

示例輸出（簡(jiǎn)化版）：

```

13:10:0004254000000000000000000000

13:10:0104254000000000000000000000

13:10:0204254000000000000000000000

13:10:0314253000000000000000000000

13:10:0414253000000000000000000000

```

第一列時(shí)間戳。

第二列`r`（運(yùn)行隊(duì)列）。

第三列`b`（等待I/O）。

第四列`[swpd]`（交換空間使用量）。

第五列`[free]`（空閑內(nèi)存）。

第六列`[buff]`（緩沖內(nèi)存）。

第七列`[cache]`（緩存內(nèi)存）。

后續(xù)列依次是`us`,`sy`,`id`,`wa`,`st`,`in`,`out`,`ps`,`cs`等指標(biāo)。

分析要點(diǎn)：觀察關(guān)鍵指標(biāo)（如`id`,`wa`,`us`,`sy`,`r`）的變化趨勢(shì)，判斷系統(tǒng)是CPU密集、I/O密集還是內(nèi)存瓶頸。

（四）iostat命令（續(xù)）

1.監(jiān)控磁盤I/O性能（續(xù)）

基本使用方法：

`iostat-mx110`：每秒采樣一次，共采樣10次，顯示詳細(xì)信息。

`iostat-mx`：無(wú)限期每秒采樣一次，顯示詳細(xì)信息。

`iostat110`：每秒采樣一次，共采樣10次，顯示基本信息。

`iostat`：默認(rèn)顯示CPU使用率和每個(gè)磁盤設(shè)備的平均I/O指標(biāo)。

關(guān)鍵參數(shù)詳解（續(xù)）：

`-c`：只顯示CPU使用情況。

`-d`：只顯示磁盤I/O情況。

`-D<device>`：只顯示指定設(shè)備的I/O情況（如`-Dsda`）。

`-M<device>`：只顯示指定設(shè)備的內(nèi)存操作統(tǒng)計(jì)（如`-Msda`）。

`-x`或`--xname`：顯示擴(kuò)展信息。

`-y<device>`：只顯示指定設(shè)備的擴(kuò)展信息（如`-ysda`）。

`-z<device>`：只顯示指定設(shè)備的總結(jié)信息（如`-zsda`）。

`1`：指定每秒采樣一次。

`10`：指定采樣次數(shù)。

`s`：以秒為單位顯示時(shí)間。

`m`：以分鐘為單位顯示時(shí)間。

`h`：以小時(shí)為單位顯示時(shí)間。

詳細(xì)模式`-mx`參數(shù)詳解：

`Device`：設(shè)備名。

`r/s`（Readspersecond）：每秒從設(shè)備讀取的次數(shù)。

`w/s`（Writespersecond）：每秒向設(shè)備寫入的次數(shù)。

`Blk/s`（Blockspersecond）：每秒傳輸?shù)膲K數(shù)（塊大小由`bs`參數(shù)決定，默認(rèn)是512bytes）。

`read_bytes`（Readbytes）：每秒讀取的總字節(jié)數(shù)。

`write_bytes`（Writebytes）：每秒寫入的總字節(jié)數(shù)。

`avgrq-sz`（Averagerequestsize）：平均每次請(qǐng)求的大小（單位為字節(jié)）。

`avgqu-sz`（Averagequeuesize）：平均隊(duì)列長(zhǎng)度（等待I/O的請(qǐng)求數(shù)）。

`avgqu-sz-t`（Averagequeuesizetime）：平均隊(duì)列等待時(shí)間（單位為毫秒）。

`await`（Averagewaittime）：平均每次請(qǐng)求等待I/O完成的時(shí)間（單位為毫秒）。

`svctm`（Averageservicetime）：平均每次請(qǐng)求的服務(wù)時(shí)間（單位為毫秒）。

`%util`（Deviceutilization）：設(shè)備利用率（忙的時(shí)間占總時(shí)間的百分比）。

`Device`列的`min`和`max`：對(duì)應(yīng)指標(biāo)的最小值和最大值。

2.示例數(shù)據(jù)（續(xù)）

輸出格式說(shuō)明（詳細(xì)模式`-mx`）：

第一行是時(shí)間戳。

第二行是各列標(biāo)題。

后續(xù)行是每秒采樣的數(shù)據(jù)，每行對(duì)應(yīng)一個(gè)設(shè)備。

示例輸出（簡(jiǎn)化版）：

```

[0.00]Device:0123456789101112131415

[0.00]r/sw/sBlk/sread_byteswrite_bytesavgrq-szavgqu-szavgqu-sz-tawaitsvctm%utilminmax

[0.00]sda0.00.00.0000.00.00.00.00.00.00.00.0

[0.01]sda0.00.00.0000.00.00.00.00.00.00.00.0

[0.01]sdb0.00.00.0000.00.00.00.00.00.00.00.0

[0.01]sdb1.00.08.05120000512.01.01.08.00.00.0512.01024.0

[0.02]sda0.00.00.0000.00.00.00.00.00.00.00.0

```

第一列時(shí)間戳。

第二列設(shè)備名（`Device`）。

后續(xù)列依次是`r/s`,`w/s`,`Blk/s`,`read_bytes`,`write_bytes`,`avgrq-sz`,`avgqu-sz`,`avgqu-sz-t`,`await`,`svctm`,`%util`,`min`,`max`。

第三行是列標(biāo)題。

第四行及以后是每個(gè)設(shè)備在對(duì)應(yīng)時(shí)間點(diǎn)的采樣數(shù)據(jù)。

分析要點(diǎn)：

觀察特定設(shè)備（如`sdb`）的`%util`是否持續(xù)接近100%，表明磁盤I/O密集。

觀察平均等待時(shí)間`await`是否過(guò)高（如超過(guò)50-100ms），表明I/O性能瓶頸。

結(jié)合`avgrq-sz`（請(qǐng)求大小）和`Blk/s`（每秒塊數(shù)）可以判斷是隨機(jī)I/O還是順序I/O占優(yōu)，以及I/O操作的粒度。

四、監(jiān)控方法（續(xù)）

（一）實(shí)時(shí)監(jiān)控（續(xù)）

1.使用top或htop命令（續(xù)）

適用場(chǎng)景：

快速定位當(dāng)前系統(tǒng)最耗資源的進(jìn)程。

手動(dòng)調(diào)整進(jìn)程優(yōu)先級(jí)或殺死異常進(jìn)程。

初步判斷系統(tǒng)是否存在明顯的性能問(wèn)題。

在沒(méi)有安裝其他監(jiān)控工具時(shí)進(jìn)行臨時(shí)排查。

優(yōu)缺點(diǎn)：

優(yōu)點(diǎn)：實(shí)時(shí)性強(qiáng)、操作簡(jiǎn)單、無(wú)需額外安裝軟件。

缺點(diǎn)：僅提供單點(diǎn)、靜態(tài)的信息，無(wú)法進(jìn)行長(zhǎng)期趨勢(shì)分析或自動(dòng)化告警；信息量有限，不能全面反映系統(tǒng)狀態(tài)。

2.設(shè)置自動(dòng)刷新（續(xù)）

實(shí)現(xiàn)方法（top命令）：

在`top`命令后添加`-d<seconds>`參數(shù)。

```bash

top-d2

```

表示每2秒刷新一次顯示信息。

對(duì)于`htop`，默認(rèn)是自動(dòng)刷新的，可以通過(guò)按空格鍵來(lái)調(diào)整刷新速度（或通過(guò)設(shè)置）。

適用場(chǎng)景：

需要持續(xù)觀察系統(tǒng)資源使用情況，但又不希望頻繁手動(dòng)刷新。

在屏幕前需要實(shí)時(shí)關(guān)注系統(tǒng)負(fù)載變化時(shí)。

優(yōu)缺點(diǎn)：

優(yōu)點(diǎn)：相比手動(dòng)刷新更高效，可以設(shè)置固定間隔，減少操作。

缺點(diǎn)：仍然只能提供瞬時(shí)快照，無(wú)法替代歷史數(shù)據(jù)分析。

（二）日志監(jiān)控（續(xù)）

1.使用sysstat工具（續(xù)）

sysstat簡(jiǎn)介：sysstat是一個(gè)系統(tǒng)性能監(jiān)控工具包，包含`vmstat`,`iostat`,`sar`,`mpstat`等命令。其中`sar`是最核心的組件，用于收集、存儲(chǔ)和報(bào)告系統(tǒng)活動(dòng)信息。它通過(guò)在指定時(shí)間間隔收集數(shù)據(jù)，生成詳細(xì)的性能報(bào)告。

安裝方法（Debian/Ubuntu系統(tǒng)示例）：

```bash

sudoaptupdate

sudoaptinstallsysstat

```

安裝方法（CentOS/RHEL系統(tǒng)示例）：

```bash

sudoyuminstallsysstat

或

sudodnfinstallsysstat

```

啟動(dòng)數(shù)據(jù)收集：

默認(rèn)情況下，`sysstat`會(huì)在系統(tǒng)啟動(dòng)時(shí)自動(dòng)啟動(dòng)數(shù)據(jù)收集服務(wù)。

可以通過(guò)以下命令手動(dòng)啟動(dòng)或停止收集服務(wù)：

```bash

啟動(dòng)服務(wù)

sudoservicesysstatstart

停止服務(wù)

sudoservicesysstatstop

開(kāi)機(jī)自啟

sudosystemctlenablesysstat

```

配置方法（續(xù)）：

編輯配置文件`/etc/sysconfig/sysstat`：

設(shè)置`SMAP`為`yes`（如果系統(tǒng)支持，可以收集更詳細(xì)的內(nèi)存訪問(wèn)統(tǒng)計(jì)信息）。

設(shè)置`SAHIST`為`yes`（如果需要收集歷史平均值）。

設(shè)置`SAVE_avg`為`yes`（如果需要保存歷史平均值）。

設(shè)置`SADIR`指定數(shù)據(jù)保存目錄（默認(rèn)為`/var/log/sa/`）。

設(shè)置`SAPERIOD`指定數(shù)據(jù)收集間隔（單位為分鐘，默認(rèn)為10分鐘）。

設(shè)置`SAVECOUNT`指定保存多少個(gè)周期的數(shù)據(jù)（默認(rèn)為0，表示無(wú)限期保存）。

修改`/proc`文件系統(tǒng)中的參數(shù)：

例如，修改`vmstat`的輸出格式：

```bash

echo'sysstat0101'>/proc/sys/net/smt/smt_rate

```

（注意：`/proc/sys/net/smt/smt_rate`可能不是`vmstat`的參數(shù)，這里僅作示例說(shuō)明可以通過(guò)`/proc/sys`修改內(nèi)核參數(shù)，實(shí)際參數(shù)需查閱文檔。）

2.查看日志文件（續(xù)）

日志文件位置：`/var/log/sa/`目錄下，文件名格式為`sa<周期><編號(hào)>`，例如`sa01`、`sa02`等。每個(gè)文件包含一個(gè)周期內(nèi)收集的所有數(shù)據(jù)。

分析工具`sar`：

`sar`是分析`sysstat`日志文件的主要工具。

基本用法：

`sar-u124`：查看過(guò)去24小時(shí)內(nèi)每分鐘的平均CPU使用率。

`sar-d110`：查看過(guò)去10分鐘內(nèi)每分鐘的磁盤活動(dòng)情況。

`sar-r17`：查看過(guò)去7天內(nèi)每小時(shí)的內(nèi)存統(tǒng)計(jì)信息。

`sar-nDEV15`：查看過(guò)去5分鐘內(nèi)每分鐘的網(wǎng)絡(luò)設(shè)備統(tǒng)計(jì)信息。

常用選項(xiàng)：

`-u`：CPU使用率。

`-d`：磁盤活動(dòng)。

`-r`：內(nèi)存統(tǒng)計(jì)。

`-n`：網(wǎng)絡(luò)統(tǒng)計(jì)（`DEV`表示設(shè)備統(tǒng)計(jì)，`EDEV`表示錯(cuò)誤統(tǒng)計(jì)等）。

`-b`：塊設(shè)備（磁盤）的塊操作統(tǒng)計(jì)。

`-f<file>`：從指定的日志文件（而非默認(rèn)目錄）讀取數(shù)據(jù)。

`-A`：顯示所有收集的指標(biāo)。

`start`：指定開(kāi)始時(shí)間（如`2023-10-2610:00:00`）。

`end`：指定結(jié)束時(shí)間。

`average`：顯示平均值、最大值、最小值和標(biāo)準(zhǔn)差。

`last`：顯示最后N分鐘的數(shù)據(jù)。

`shift`：調(diào)整時(shí)間軸。

生成報(bào)告：

`sa1-A`：生成當(dāng)前周期的所有指標(biāo)報(bào)告。

`sa2-A`：生成上一個(gè)周期的所有指標(biāo)報(bào)告。

`sa3-A-f/var/log/sa/sa01`：從指定文件生成報(bào)告。

報(bào)告會(huì)以表格形式顯示數(shù)據(jù)，并提供圖形化的圖表（如果`sysstat`安裝了圖形化組件）。

3.分析報(bào)告內(nèi)容（續(xù)）

關(guān)鍵指標(biāo)解讀：

CPU報(bào)告：關(guān)注`us`（用戶）、`sy`（系統(tǒng)）、`id`（空閑）、`wa`（I/O等待）的變化趨勢(shì)。例如，`id`持續(xù)很低可能表示CPU瓶頸；`wa`持續(xù)較高可能表示I/O瓶頸。

內(nèi)存報(bào)告：關(guān)注`free`（空閑）、`buff`（緩沖）、`cache`（緩存）、`swpd`（交換空間使用）的變化。例如，`free`持續(xù)減少可能表示內(nèi)存不足；`cache`占用大通常表示系統(tǒng)在利用緩存。

磁盤報(bào)告：關(guān)注`r/s`（讀取次數(shù)）、`w/s`（寫入次數(shù)）、`Blk/s`（塊傳輸次數(shù)）、`await`（平均等待時(shí)間）、`%util`（設(shè)備利用率）。例如，`await`持續(xù)高表示磁盤I/O瓶頸；`%util`持續(xù)接近100%表示磁盤繁忙。

網(wǎng)絡(luò)報(bào)告：關(guān)注`rx_bytes`（接收字節(jié)數(shù)）、`tx_bytes`（發(fā)送字節(jié)數(shù)）、`rx_kbytes`（接收KB數(shù)）、`tx_kbytes`（發(fā)送KB數(shù)）、`rx_pck`（接收數(shù)據(jù)包數(shù)）、`tx_pck`（發(fā)送數(shù)據(jù)包數(shù)）、`rx_err`（接收錯(cuò)誤數(shù)）、`tx_err`（發(fā)送錯(cuò)誤數(shù)）。例如，`rx_bytes`和`tx_bytes`的快速增長(zhǎng)可能表示網(wǎng)絡(luò)流量大。

長(zhǎng)期趨勢(shì)分析：

比較不同時(shí)間段的數(shù)據(jù)，識(shí)別性能的長(zhǎng)期變化趨勢(shì)。

例如，在業(yè)務(wù)高峰期（如每天下午）觀察資源使用情況，判斷是否存在周期性問(wèn)題。

通過(guò)趨勢(shì)預(yù)測(cè)未來(lái)的資源需求，為硬件升級(jí)提供依據(jù)。

（三）遠(yuǎn)程監(jiān)控（續(xù)）

1.使用SNMP協(xié)議（續(xù)）

介紹簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議（SNMP）如何用于系統(tǒng)監(jiān)控。SNMP允許網(wǎng)絡(luò)設(shè)備（如路由器、交換機(jī)、服務(wù)器）與網(wǎng)絡(luò)管理系統(tǒng)（NMS）之間交換管理信息。

SNMP概述：SNMP是一種應(yīng)用層協(xié)議，用于管理和監(jiān)控網(wǎng)絡(luò)對(duì)象。它基于TCP/IP協(xié)議棧，通過(guò)管理站（NMS）和管理代理（ManagedDevice）之間的通信來(lái)收集和交換信息。

SNMP版本：

SNMPv1：使用社區(qū)字符串（CommunityString）進(jìn)行身份驗(yàn)證，安全性較低。

SNMPv2c：改進(jìn)了數(shù)據(jù)表示和性能，仍然使用社區(qū)字符串。

SNMPv3：提供了更強(qiáng)的安全性（用戶認(rèn)證和加密），是當(dāng)前推薦使用的版本。

配置步驟（以SNMPv3為例）：

1.安裝SNMP代理：

Debian/Ubuntu：`sudoaptinstallsnmpdsnmp`

CentOS/RHEL：`sudoyuminstallnet-snmpnet-snmp-utils`

2.配置SNMP代理：

編輯配置文件`/etc/snmp/snmpd.conf`。

設(shè)置SNMP代理參數(shù)：

`rocommunitypublic`：定義只讀社區(qū)字符串

一、概述

本報(bào)告旨在提供Linux系統(tǒng)資源監(jiān)控的全面指南，幫助系統(tǒng)管理員和開(kāi)發(fā)人員有效監(jiān)控和管理系統(tǒng)資源。報(bào)告內(nèi)容涵蓋資源監(jiān)控的重要性、常用工具、監(jiān)控方法和最佳實(shí)踐。通過(guò)本報(bào)告，讀者將能夠掌握如何識(shí)別資源瓶頸、優(yōu)化系統(tǒng)性能，并確保Linux系統(tǒng)的穩(wěn)定運(yùn)行。

二、資源監(jiān)控的重要性

（一）識(shí)別性能瓶頸

資源監(jiān)控能夠幫助管理員及時(shí)發(fā)現(xiàn)系統(tǒng)中的性能瓶頸，如CPU、內(nèi)存、磁盤I/O和網(wǎng)絡(luò)帶寬的過(guò)度使用。通過(guò)監(jiān)控，可以快速定位問(wèn)題源頭，采取相應(yīng)措施，避免系統(tǒng)崩潰或響應(yīng)緩慢。

（二）優(yōu)化系統(tǒng)性能

（三）確保系統(tǒng)穩(wěn)定

資源監(jiān)控有助于預(yù)防潛在的系統(tǒng)故障。通過(guò)設(shè)置閾值和告警機(jī)制，可以在資源使用超過(guò)安全范圍時(shí)及時(shí)通知管理員，采取預(yù)防措施，降低系統(tǒng)崩潰的風(fēng)險(xiǎn)。

三、常用監(jiān)控工具

（一）top命令

1.實(shí)時(shí)監(jiān)控進(jìn)程資源使用情況

-使用方法：`top-c`（顯示完整進(jìn)程名）

-關(guān)鍵參數(shù)：`-n`（指定刷新次數(shù)）、`-b`（批處理模式）

2.查看CPU和內(nèi)存使用情況

-CPU狀態(tài)：`%Cpu(s)`（用戶、系統(tǒng)、空閑）

-內(nèi)存狀態(tài)：`Mem:`（總量、使用量、空閑量）

（二）htop命令

1.圖形化進(jìn)程監(jiān)控

-安裝方法：`sudoapt-getinstallhtop`

-使用方法：`htop`（實(shí)時(shí)顯示進(jìn)程和資源使用）

2.高級(jí)功能

-過(guò)濾進(jìn)程：`Shift+Space`（切換顯示模式）

-排序進(jìn)程：`Shift+M`（按內(nèi)存排序）、`Shift+P`（按CPU排序）

（三）vmstat命令

1.監(jiān)控系統(tǒng)性能指標(biāo)

-使用方法：`vmstat1`（每秒刷新一次）

-關(guān)鍵參數(shù)：

-`ps`（進(jìn)程狀態(tài)）

-`us`（用戶CPU使用率）

-`sy`（系統(tǒng)CPU使用率）

-`id`（空閑CPU使用率）

2.示例數(shù)據(jù)

-示例輸出：

```

[0.00]00000000000

[0.01]00000000000

[0.02]00000000000

```

（四）iostat命令

1.監(jiān)控磁盤I/O性能

-使用方法：`iostat-mx`（詳細(xì)模式）

-關(guān)鍵參數(shù)：

-`r/s`（每秒讀取次數(shù)）

-`w/s`（每秒寫入次數(shù)）

-`avgqu-sz`（平均隊(duì)列長(zhǎng)度）

2.示例數(shù)據(jù)

```

Device:0123456789101112131415

[0.00]0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

[0.01]0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

```

四、監(jiān)控方法

（一）實(shí)時(shí)監(jiān)控

1.使用top或htop命令

-步驟：

1.打開(kāi)終端

2.輸入命令（如`top-c`）

3.查看實(shí)時(shí)資源使用情況

2.設(shè)置自動(dòng)刷新

-使用方法：`top-d1`（每秒刷新一次）

-適用于需要持續(xù)觀察系統(tǒng)狀態(tài)的場(chǎng)景

（二）日志監(jiān)控

1.使用sysstat工具

-安裝方法：`sudoapt-getinstallsysstat`

-配置方法：

-編輯`/etc/sysconfig/sysstat`文件

-設(shè)置`SMAP`為`yes`（啟用內(nèi)存訪問(wèn)統(tǒng)計(jì)）

2.查看日志文件

-日志路徑：`/var/log/sysstat/`（如`sysstat.log`）

-分析工具：`sar`（系統(tǒng)活動(dòng)報(bào)告）

（三）遠(yuǎn)程監(jiān)控

1.使用SNMP協(xié)議

-安裝方法：`sudoapt-getinstallsnmpd`

-配置方法：

-編輯`/etc/snmp/snmpd.conf`文件

-設(shè)置社區(qū)字符串

2.使用Zabbix或Nagios

-安裝方法：

-Zabbix：`sudoapt-getinstallzabbix-server-mysqlzabbix-frontend-phpzabbix-agent`

-Nagios：`sudoapt-getinstallnagios3nagios-nrpe-servernagios-plugins`

五、最佳實(shí)踐

（一）設(shè)置監(jiān)控閾值

1.定義關(guān)鍵指標(biāo)閾值

-CPU使用率：超過(guò)80%觸發(fā)告警

-內(nèi)存使用率：低于10%觸發(fā)告警

-磁盤空間：低于20%觸發(fā)告警

2.配置告警方式

-郵件告警：編輯`/etc/zabbix/zabbix.conf.d/zabbix_email.conf`

-消息推送：集成釘釘或企業(yè)微信API

（二）定期分析報(bào)告

1.使用sar生成報(bào)告

-命令：`sar-u124`（生成24小時(shí)CPU使用率報(bào)告）

-輸出：`/var/log/sysstat/sar-2023-10-26`目錄

2.分析報(bào)告內(nèi)容

-關(guān)注高峰時(shí)段

-識(shí)別長(zhǎng)期趨勢(shì)

（三）優(yōu)化資源配置

1.根據(jù)監(jiān)控?cái)?shù)據(jù)調(diào)整參數(shù)

-調(diào)整swappiness值：`sudosysctlvm.swappiness=10`

-調(diào)整文件描述符限制：`ulimit-n65536`

2.升級(jí)硬件設(shè)備

-根據(jù)使用情況增加內(nèi)存或更換更快的硬盤

六、總結(jié)

Linux系統(tǒng)資源監(jiān)控是保障系統(tǒng)穩(wěn)定運(yùn)行的重要手段。通過(guò)使用top、htop、vmstat、iostat等工具，結(jié)合實(shí)時(shí)監(jiān)控、日志分析和遠(yuǎn)程監(jiān)控方法，管理員可以全面掌握系統(tǒng)狀態(tài)。設(shè)置合理的閾值和告警機(jī)制，定期分析報(bào)告，并根據(jù)監(jiān)控?cái)?shù)據(jù)進(jìn)行優(yōu)化，能夠有效提升系統(tǒng)性能和穩(wěn)定性。本報(bào)告提供的方法和步驟可供參考，幫助讀者更好地實(shí)施Linux系統(tǒng)資源監(jiān)控。

二、資源監(jiān)控的重要性（續(xù)）

（一）識(shí)別性能瓶頸（續(xù)）

1.具體表現(xiàn)與定位：

CPU瓶頸：當(dāng)CPU使用率持續(xù)處于高位（例如，長(zhǎng)時(shí)間超過(guò)85%），并且`top`或`htop`顯示某個(gè)特定進(jìn)程（或多個(gè)進(jìn)程）占據(jù)了絕大部分CPU資源時(shí)，表明系統(tǒng)存在CPU瓶頸。這可能是由計(jì)算密集型任務(wù)、循環(huán)邏輯效率低下、或線程競(jìng)爭(zhēng)不均引起的。

排查步驟：

1.使用`top-c-H-o%cpu`查看每個(gè)線程的CPU占用情況。

2.結(jié)合`psauxf|grep<process_name>`查看進(jìn)程的詳細(xì)命令行和關(guān)聯(lián)的線程。

3.分析代碼或配置，查找優(yōu)化點(diǎn)（如算法改進(jìn)、并行處理、減少不必要的計(jì)算）。

內(nèi)存瓶頸：

Swap使用：當(dāng)`free-m`命令顯示`SwapUsed`持續(xù)增加，甚至接近`SwapTotal`時(shí)，表明物理內(nèi)存不足，系統(tǒng)開(kāi)始頻繁使用交換空間。這會(huì)顯著降低系統(tǒng)性能。

排查步驟：

1.使用`htop`觀察哪些進(jìn)程占用了大量?jī)?nèi)存。

2.使用`sudosmem-s`或`sar-r110`查看內(nèi)存和交換空間的使用歷史。

3.分析是否因內(nèi)存泄漏（進(jìn)程內(nèi)存占用持續(xù)增長(zhǎng)）、內(nèi)存分配不當(dāng)或并發(fā)進(jìn)程過(guò)多導(dǎo)致。

OOMKiller：如果系統(tǒng)出現(xiàn)`oom-killer`運(yùn)行，會(huì)強(qiáng)制殺死占用過(guò)多內(nèi)存的進(jìn)程。這通常需要立即關(guān)注和解決內(nèi)存問(wèn)題。

磁盤I/O瓶頸：

高IOPS或延遲：使用`iostat-mx110`監(jiān)控時(shí)，如果`await`（平均等待時(shí)間）顯著升高，或`r/s`和`w/s`數(shù)值異常高且`avgqu-sz`（平均隊(duì)列長(zhǎng)度）也高，表明磁盤I/O成為瓶頸。

排查步驟：

1.使用`iotop-o`查看哪個(gè)進(jìn)程占用了最多的磁盤操作。

2.檢查磁盤健康狀況（如使用`smartctl-a/dev/sda`）。

3.分析磁盤讀寫操作的類型（順序讀寫vs隨機(jī)讀寫），考慮是否可以通過(guò)調(diào)整工作模式、增加緩存或使用更快的存儲(chǔ)介質(zhì)來(lái)優(yōu)化。

4.檢查文件系統(tǒng)是否存在碎片化（對(duì)于某些文件系統(tǒng)類型）。

網(wǎng)絡(luò)帶寬瓶頸：

高流量或丟包：使用`iftop-ieth0`或`nloadeth0`監(jiān)控網(wǎng)絡(luò)接口流量。如果網(wǎng)絡(luò)接口持續(xù)處于接近滿速的傳輸狀態(tài)，或者`ping`測(cè)試顯示丟包率升高，表明網(wǎng)絡(luò)帶寬不足或網(wǎng)絡(luò)質(zhì)量不佳。

排查步驟：

1.使用`netstat-tulnp`或`ss-tulnp`查看占用網(wǎng)絡(luò)帶寬的進(jìn)程。

2.檢查網(wǎng)絡(luò)配置（如MTU設(shè)置）。

3.分析網(wǎng)絡(luò)拓?fù)浜椭虚g設(shè)備（如交換機(jī)、路由器）的性能。

（二）優(yōu)化系統(tǒng)性能（續(xù)）

1.針對(duì)性優(yōu)化措施：

CPU優(yōu)化：

進(jìn)程優(yōu)先級(jí)調(diào)整：使用`nice`和`renice`命令調(diào)整進(jìn)程的優(yōu)先級(jí)，將重要進(jìn)程置為更高優(yōu)先級(jí)。

線程池使用：對(duì)于需要大量并發(fā)的應(yīng)用，使用線程池來(lái)管理線程，避免創(chuàng)建銷毀帶來(lái)的開(kāi)銷。

內(nèi)核參數(shù)調(diào)優(yōu)：修改`/etc/sysctl.conf`或`/proc`文件系統(tǒng)中的相關(guān)參數(shù)，如`nr_hup`（允許的最大掛起操作數(shù)）、`max_map_count`（內(nèi)存映射文件數(shù)量限制）等，以適應(yīng)應(yīng)用負(fù)載。

內(nèi)存優(yōu)化：

緩存策略：調(diào)整應(yīng)用或系統(tǒng)級(jí)別的緩存大小和策略，如Java應(yīng)用的`-Xmx`和`-Xms`參數(shù)。

內(nèi)存回收：對(duì)于數(shù)據(jù)庫(kù)等應(yīng)用，優(yōu)化其內(nèi)存回收機(jī)制和策略。

減少連接數(shù)：限制同時(shí)連接的數(shù)量，減少內(nèi)存占用。

磁盤I/O優(yōu)化：

使用SSD：將系統(tǒng)盤、數(shù)據(jù)庫(kù)盤或日志盤更換為SSD，顯著提升IOPS和降低延遲。

RAID配置：根據(jù)需求配置合適的RAID級(jí)別（如RAID10提高性能和容錯(cuò)能力）。

索引優(yōu)化：對(duì)于數(shù)據(jù)庫(kù)，優(yōu)化索引結(jié)構(gòu)，減少全表掃描。

異步寫入：對(duì)于日志等對(duì)實(shí)時(shí)性要求不高的操作，采用異步寫入方式。

網(wǎng)絡(luò)優(yōu)化：

帶寬升級(jí)：如果帶寬確實(shí)是瓶頸，考慮升級(jí)網(wǎng)絡(luò)帶寬。

負(fù)載均衡：使用負(fù)載均衡器分發(fā)請(qǐng)求，減輕單臺(tái)服務(wù)器的網(wǎng)絡(luò)壓力。

壓縮傳輸：?jiǎn)⒂肎zip或Brotli等壓縮算法，減少傳輸數(shù)據(jù)量。

DNS優(yōu)化：使用高性能的DNS服務(wù)器。

（三）確保系統(tǒng)穩(wěn)定

1.預(yù)防性監(jiān)控：

閾值設(shè)置與告警：如前所述，為關(guān)鍵資源指標(biāo)設(shè)置合理的閾值，并結(jié)合郵件、短信（需配置發(fā)送網(wǎng)關(guān)）或?qū)Ｓ酶婢脚_(tái)（如Prometheus+Alertmanager）實(shí)現(xiàn)自動(dòng)告警。告警規(guī)則應(yīng)區(qū)分不同級(jí)別（如Critical,Warning,Info）。

示例告警規(guī)則：

CPU使用率>90%for5minutes->Critical

內(nèi)存使用率>85%for10minutes->Warning

磁盤空間<15%for1hour->Critical

磁盤I/Oawait>50msfor1minute->Warning

長(zhǎng)期趨勢(shì)分析：定期（如每天、每周）生成和查閱資源使用報(bào)告（使用`sar`命令），分析資源使用的長(zhǎng)期趨勢(shì)，預(yù)測(cè)未來(lái)可能的瓶頸或容量需求。

常用`sar`命令示例：

`sar-u11440`：連續(xù)24小時(shí)每分鐘采樣一次CPU使用率。

`sar-d11440`：連續(xù)24小時(shí)每分鐘采樣一次磁盤活動(dòng)。

`sar-r11440`：連續(xù)24小時(shí)每分鐘采樣一次內(nèi)存統(tǒng)計(jì)。

`sar-nDEV11440`：連續(xù)24小時(shí)每分鐘采樣網(wǎng)絡(luò)設(shè)備統(tǒng)計(jì)。

`sar-B11440`：連續(xù)24小時(shí)每分鐘采樣塊設(shè)備（磁盤）的塊操作統(tǒng)計(jì)。

日志審計(jì)與關(guān)聯(lián)：結(jié)合系統(tǒng)日志（`/var/log/syslog`或`journalctl`）和應(yīng)用日志，通過(guò)關(guān)鍵詞搜索或日志分析工具（如ELKStack）關(guān)聯(lián)資源使用情況和系統(tǒng)事件，進(jìn)行更深入的問(wèn)題排查。例如，在高CPU使用時(shí)段關(guān)聯(lián)查看應(yīng)用錯(cuò)誤日志。

三、常用監(jiān)控工具（續(xù)）

（一）top命令（續(xù)）

1.實(shí)時(shí)監(jiān)控進(jìn)程資源使用情況（續(xù)）

關(guān)鍵參數(shù)詳解：

`-c`或`--full-commands`：顯示完整的進(jìn)程命令行，而非縮寫。

`-b`或`--batch`：以批處理模式運(yùn)行，將輸出重定向到文件或管道。適用于生成報(bào)告。

`-n<number>`或`--lines<number>`：指定top命令運(yùn)行多少次后退出（對(duì)于`-b`模式，指定輸出多少行）。

`-d<number>`或`--delay<number>`：指定刷新間隔（單位為秒）。

`k`：按內(nèi)存使用量排序。

`m`：按內(nèi)存使用量排序。

`M`：按CPU使用率排序。

`P`：按CPU使用率排序。

`S`：切換CPU統(tǒng)計(jì)模式（用戶+系統(tǒng)vs僅用戶）。

`h`：顯示幫助信息。

交互操作：

`h`：幫助

`k<PID><signal>`：向指定進(jìn)程發(fā)送信號(hào)（如`1`退出，`9`殺死）。

`q`：退出top命令。

`?`：獲取幫助。

`Shift+F`：切換顯示或隱藏進(jìn)程的完整命令行。

`Shift+M`：按內(nèi)存使用量排序。

`Shift+P`：按CPU使用率排序。

`space`：手動(dòng)刷新顯示。

`Shift+L`：切換日志模式（顯示歷史數(shù)據(jù)）。

`/<string>`：搜索包含指定字符串的進(jìn)程。

`0`：將排序條件切換到PID。

2.查看CPU和內(nèi)存使用情況（續(xù)）

CPU狀態(tài)詳解：

`%Cpu(s)`：顯示CPU使用情況的總覽。

`us`（User）：用戶空間程序占用的CPU百分比。

`sy`（System）：內(nèi)核空間程序占用的CPU百分比。

`ni`（Nice）：低優(yōu)先級(jí)用戶空間程序占用的CPU百分比（實(shí)際上是由內(nèi)核調(diào)度，優(yōu)先級(jí)降低）。

`id`（Idle）：CPU空閑時(shí)間占用的百分比。

`wa`（I/Owait）：CPU等待I/O操作完成的時(shí)間占用的百分比。

`hi`（Hardwareinterrupt）：硬件中斷占用的CPU百分比。

`si`（Softwareinterrupt）：軟件中斷占用的CPU百分比。

`st`（Steal）：虛擬化環(huán)境中的偷竊時(shí)間占用的CPU百分比（僅虛擬機(jī)可見(jiàn)）。

解讀示例：如果`%Cpu(s)`顯示`0.0%us,10.0%sy,0.0%ni,90.0%id`，表示CPU主要處于空閑狀態(tài)，大部分時(shí)間在等待。

內(nèi)存狀態(tài)詳解：

`Mem:`：物理內(nèi)存使用情況。

`total`：總物理內(nèi)存大小。

`used`：已使用的物理內(nèi)存大小。

`free`：空閑的物理內(nèi)存大小。

`shared`：被多個(gè)進(jìn)程共享的內(nèi)存大小。

`buffers`：內(nèi)核用于緩沖文件系統(tǒng)讀寫操作的內(nèi)存大小。

`cached`：內(nèi)核用于緩存文件系統(tǒng)數(shù)據(jù)的內(nèi)存大?。ㄟ@部分內(nèi)存釋放后通常不會(huì)立即分配給其他進(jìn)程，因?yàn)樗鼈兛赡芎芸鞎?huì)被再次讀取）。

`Swap:`：交換空間使用情況。

`total`：總交換空間大小。

`used`：已使用的交換空間大小。

`free`：空閑的交換空間大小。

解讀示例：如果`free`非常低，而`buffers`和`cached`占比不高，可能表明內(nèi)存不足。

（二）htop命令（續(xù)）

1.圖形化進(jìn)程監(jiān)控（續(xù)）

安裝方法（Debian/Ubuntu系統(tǒng)示例）：

```bash

sudoaptupdate

sudoaptinstallhtop

```

安裝方法（CentOS/RHEL系統(tǒng)示例）：

```bash

sudoyuminstallhtop

或

sudodnfinstallhtop

```

使用方法與交互（續(xù)）：

啟動(dòng)：在終端直接輸入`htop`并按回車。

實(shí)時(shí)刷新：按下`F5`鍵。

切換用戶視圖：按下`Shift+U`鍵，輸入用戶名后按回車。

過(guò)濾進(jìn)程：

按下`F2`鍵，進(jìn)入過(guò)濾設(shè)置。

可以按進(jìn)程名稱、PID、用戶、狀態(tài)等進(jìn)行過(guò)濾。

使用``作為通配符。

按`Enter`確認(rèn)過(guò)濾，按`Esc`取消。

也可以直接在屏幕上按`/`鍵，然后輸入過(guò)濾字符串，按`Enter`應(yīng)用。

排序：

按下`Shift+M`鍵：按內(nèi)存使用量排序（升序或降序）。

按下`Shift+P`鍵：按CPU使用率排序（升序或降序）。

可以通過(guò)鼠標(biāo)拖動(dòng)列標(biāo)題來(lái)改變排序方式。

選擇進(jìn)程：使用方向鍵選中進(jìn)程。

打開(kāi)終端：按下`Enter`鍵。

查看樹狀進(jìn)程關(guān)系：按下`Shift+H`鍵。

殺死進(jìn)程：按下`F9`鍵，然后輸入要?dú)⑺赖倪M(jìn)程PID并按回車（會(huì)提示選擇信號(hào)，通常選擇`9`）。

結(jié)束進(jìn)程：按下`F10`鍵，然后輸入要結(jié)束的進(jìn)程PID并按回車。

顯示/隱藏列：按下`F6`鍵，然后使用方向鍵選擇要顯示或隱藏的列，按`Enter`確認(rèn)。

顯示/隱藏系統(tǒng)信息：按下`F7`鍵，可以顯示或隱藏CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等信息面板。

設(shè)置：按下`S`鍵，可以調(diào)整多種顯示設(shè)置，如刷新率、是否顯示顏色、是否顯示用戶等。

2.高級(jí)功能（續(xù)）

Shift+Space：切換顯示模式。

NormalMode：顯示進(jìn)程的CPU和內(nèi)存使用情況。

TreeMode：以樹狀結(jié)構(gòu)顯示進(jìn)程的父子關(guān)系。

GraphMode：顯示CPU和內(nèi)存使用的實(shí)時(shí)圖表。

Shift+M：按內(nèi)存使用量排序?？梢园瓷舷录^調(diào)整排序優(yōu)先級(jí)。

Shift+P：按CPU使用率排序。可以按上下箭頭調(diào)整排序優(yōu)先級(jí)。

鼠標(biāo)操作：

右鍵點(diǎn)擊進(jìn)程：彈出菜單，可以選擇查看詳細(xì)信息、打開(kāi)終端、發(fā)送信號(hào)（如終止）等。

拖動(dòng)列分隔線：調(diào)整列寬。

拖動(dòng)進(jìn)程行：改變進(jìn)程在列表中的順序。

顏色高亮：htop默認(rèn)根據(jù)資源使用情況對(duì)進(jìn)程進(jìn)行顏色編碼，方便快速識(shí)別高資源占用進(jìn)程。可以在設(shè)置中調(diào)整顏色方案。

（三）vmstat命令（續(xù)）

1.監(jiān)控系統(tǒng)性能指標(biāo)（續(xù)）

基本使用方法：

`vmstat110`：每秒采樣一次，共采樣10次。這是最常用的方式，能清晰地看到每秒的變化。

`vmstat250`：每2秒采樣一次，共采樣50次。

`vmstat1`：無(wú)限期每秒采樣一次，按`Ctrl+C`停止。

關(guān)鍵參數(shù)詳解（續(xù)）：

`ps`（Processes）：進(jìn)程狀態(tài)信息。

`r`（Running/Runqueue）：在運(yùn)行隊(duì)列中等待CPU的時(shí)間（小于或等于`maxrss`的進(jìn)程數(shù)）。

`b`（Blocked）：等待I/O的進(jìn)程數(shù)。

`us`（UserCPU）：用戶空間程序使用的CPU百分比。

`sy`（SystemCPU）：內(nèi)核空間程序使用的CPU百分比。

`id`（IdleCPU）：CPU空閑時(shí)間占用的百分比。

`wa`（I/OwaitCPU）：CPU等待I/O操作完成的時(shí)間占用的百分比。

`st`（StealCPU）：虛擬化環(huán)境中的偷竊時(shí)間占用的CPU百分比。

`[swpd]`（Swapused）：當(dāng)前使用的交換空間量（單位為KB）。

`[free]`（Freememory）：空閑內(nèi)存量（單位為KB）。

`[buff]`（Bufferedmemory）：用于緩沖文件系統(tǒng)操作的內(nèi)存量（單位為KB）。

`[cache]`（Cachedmemory）：用于緩存文件系統(tǒng)數(shù)據(jù)的內(nèi)存量（單位為KB）。

`[in]`（Pagesin）：每秒從交換空間或磁盤讀入內(nèi)存的頁(yè)數(shù)。

`[out]`（Pagesout）：每秒從內(nèi)存寫出到交換空間或磁盤的頁(yè)數(shù)。

`[ps`或`p`](Pagefaults/sec)：每秒發(fā)生的頁(yè)面錯(cuò)誤次數(shù)。

`[cs`或`c`](Contextswitches/sec)：每秒發(fā)生的上下文切換次數(shù)。

解讀示例：如果`wa`持續(xù)很高（如30%或以上），表明系統(tǒng)存在較嚴(yán)重的I/O瓶頸，CPU經(jīng)常需要等待磁盤操作完成。

2.示例數(shù)據(jù)（續(xù)）

輸出格式說(shuō)明：

第一行是時(shí)間戳。

第二行是各列標(biāo)題。

后續(xù)行是每秒采樣的數(shù)據(jù)。

示例輸出（簡(jiǎn)化版）：

```

13:10:0004254000000000000000000000

13:10:0104254000000000000000000000

13:10:0204254000000000000000000000

13:10:0314253000000000000000000000

13:10:0414253000000000000000000000

```

第一列時(shí)間戳。

第二列`r`（運(yùn)行隊(duì)列）。

第三列`b`（等待I/O）。

第四列`[swpd]`（交換空間使用量）。

第五列`[free]`（空閑內(nèi)存）。

第六列`[buff]`（緩沖內(nèi)存）。

第七列`[cache]`（緩存內(nèi)存）。

后續(xù)列依次是`us`,`sy`,`id`,`wa`,`st`,`in`,`out`,`ps`,`cs`等指標(biāo)。

分析要點(diǎn)：觀察關(guān)鍵指標(biāo)（如`id`,`wa`,`us`,`sy`,`r`）的變化趨勢(shì)，判斷系統(tǒng)是CPU密集、I/O密集還是內(nèi)存瓶頸。

（四）iostat命令（續(xù)）

1.監(jiān)控磁盤I/O性能（續(xù)）

基本使用方法：

`iostat-mx110`：每秒采樣一次，共采樣10次，顯示詳細(xì)信息。

`iostat-mx`：無(wú)限期每秒采樣一次，顯示詳細(xì)信息。

`iostat110`：每