系统性能排查架构实战：CPU、内存、磁盘、IO、网络性能分析

一、性能排查概述

1.1 性能瓶颈定位流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
性能排查步骤:
  1. 整体评估:
    - 使用top/htop查看整体负载
    - 快速识别异常资源
  
  2. 详细分析:
    - CPU: top, vmstat, perf
    - 内存: free, vmstat, /proc/meminfo
    - 磁盘IO: iostat, iotop
    - 网络: iftop, nethogs, ss
  
  3. 深度诊断:
    - perf性能分析
    - strace系统调用跟踪
    - tcpdump网络包分析
  
  4. 优化建议:
    - 根据数据提出方案
    - 分步骤实施
    - 验证效果

1.2 性能监控工具

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 综合监控工具
top          # 实时监控系统
htop         # 增强版top
atop         # 全量监控
glances      # 现代化监控

# 专门工具
vmstat       # CPU、内存、进程
iostat       # 磁盘IO统计
sar          # 系统活动报告
pidstat      # 进程统计

# 网络工具
iftop        # 实时网络流量
nethogs      # 进程网络使用
netstat      # 网络连接统计
ss           # 现代netstat

# 性能分析
perf         # Linux性能工具
strace       # 系统调用跟踪
tcpdump      # 网络包分析

二、CPU性能排查

2.1 CPU监控命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# top查看CPU
top

# 按CPU排序
top -o %CPU

# 1秒刷新
top -d 1

# htop（更直观）
htop

# CPU使用率统计
vmstat 1 5

# 进程CPU统计
pidstat -u 1 5

# 所有CPU核心使用率
sar -u 1 5

# 按核心统计
sar -P ALL 1 5

# 查看CPU负载
uptime
cat /proc/loadavg

# 查看CPU信息
lscpu
cat /proc/cpuinfo

2.2 CPU问题分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 查看CPU使用率分布
top -b -n 1 | head -20

# 统计CPU使用率
ps aux --sort=-%cpu | head -10

# 找出CPU密集型进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -20

# 查看进程CPU详情
pidstat -p PID -u 1 10

# 分析系统调用
strace -c -p PID

# 性能分析
perf top
perf record -g -p PID
perf report

2.3 CPU优化脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/bin/bash
# analyze_cpu.sh - CPU性能分析脚本

echo "=== CPU性能分析 ==="
echo ""

# 1. CPU信息
echo "1. CPU信息:"
echo "  核心数: $(grep -c processor /proc/cpuinfo)"
echo "  型号: $(grep 'model name' /proc/cpuinfo | head -1 | cut -d: -f2)"
echo ""

# 2. CPU负载
echo "2. CPU负载:"
uptime | awk -F'load average:' '{print "  "$2}'
echo ""

# 3. CPU使用率
echo "3. 实时CPU使用率:"
top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print "  空闲率: " 100-$1 "%"}'
echo ""

# 4. Top 10 CPU进程
echo "4. CPU占用Top 10:"
ps aux --sort=-%cpu | head -11 | tail -10 | awk '{printf "  %-30s %5.1f%%\n", $11, $3}'
echo ""

# 5. 系统负载趋势
echo "5. 系统负载趋势(最近5分钟):"
cat /proc/loadavg | awk '{printf "  1分钟: %s | 5分钟: %s | 15分钟: %s\n", $1, $2, $3}'
echo ""

# 6. CPU等待IO时间
echo "6. CPU等待IO时间:"
iostat -x 1 2 | awk '/await/ {getline; print "  平均IO等待: "$10" ms"}'
echo ""

echo "分析完成"

三、内存性能排查

3.1 内存监控命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 查看内存使用
free -h

# 详细内存信息
cat /proc/meminfo

# 实时监控内存
watch -n 1 free -m

# 按内存排序
top -o %MEM

# 内存统计
vmstat -s

# 进程内存统计
pidstat -r 1 5

# 查找内存泄漏
valgrind --tool=memcheck ./app

3.2 内存问题分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 查看内存使用Top 10
ps aux --sort=-%mem | head -11

# 查看内存缓存
sync; echo 3 > /proc/sys/vm/drop_caches  # 清理缓存（测试用）

# 查看Swap使用
swapon --show
cat /proc/swaps

# 查看内存页错误
perf top -e page-faults

# 监控内存增长
watch -n 1 'ps aux | grep myapp | awk '{print $6}''

3.3 内存优化脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/bin/bash
# analyze_memory.sh - 内存性能分析脚本

echo "=== 内存性能分析 ==="
echo ""

# 1. 内存使用情况
echo "1. 内存使用情况:"
free -h | awk '/^Mem:/ {printf "  总内存: %s\n  已用: %s\n  可用: %s\n  缓存: %s\n", $2, $3, $7, $6}'
echo ""

# 2. Swap使用
echo "2. Swap使用:"
free -h | awk '/^Swap:/ {printf "  Swap: %s / %s\n", $3, $2}'
swapon --show 2>/dev/null | tail -n +2 | awk '{printf "  %s: %s\n", $1, $4}'
echo ""

# 3. 内存占用Top 10
echo "3. 内存占用Top 10:"
ps aux --sort=-%mem | head -11 | tail -10 | awk '{printf "  %-30s %5.1f%%\n", $11, $4}'
echo ""

# 4. 内存详细信息
echo "4. 内存详细信息:"
cat /proc/meminfo | grep -E "MemTotal|MemAvailable|MemFree|Cached|Buffers|Dirty"
echo ""

# 5. 检查内存泄漏
echo "5. 内存增长趋势:"
echo "  监控进程内存变化(需要持续运行观察)"
echo ""

echo "分析完成"
echo ""
echo "建议:"
echo "  - 如果Swap使用率高，考虑增加物理内存"
echo "  - 如果缓存占用高，这是正常的系统优化"
echo "  - 如果进程内存持续增长，可能存在内存泄漏"

四、磁盘IO性能排查

4.1 磁盘IO监控

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 磁盘IO统计
iostat -x 1 5

# 显示所有磁盘
iostat -d 1 5

# 按进程查看IO
iotop -o

# 查看具体磁盘IO
iostat -x /dev/sda 1 5

# 查看IO等待
vmstat 1 5 | awk 'NR>2 {print "CPU等待IO: "$10"%"}'

# 查看磁盘读写
df -h
du -sh /*

4.2 磁盘IO问题分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 查看IO密集进程
iotop -aoP

# 查看磁盘繁忙度
iostat -x 1 5 | grep -E "Device|sda"

# 查看平均等待时间
iostat -x 1 5 | awk '/await/ {print $10}'

# 测试磁盘速度
dd if=/dev/zero of=/tmp/test bs=1M count=1000

# 查看磁盘队列
iostat -x 1 5 | grep "avgqu-sz"

4.3 磁盘IO优化脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
#!/bin/bash
# analyze_io.sh - 磁盘IO性能分析

echo "=== 磁盘IO性能分析 ==="
echo ""

# 1. 磁盘使用率
echo "1. 磁盘使用率:"
df -h | grep -E "^/dev" | awk '{printf "  %s: %s / %s (%s)\n", $1, $3, $2, $5}'
echo ""

# 2. 磁盘IO统计
echo "2. 当前磁盘IO (采样5秒):"
iostat -x 1 5 2>/dev/null | tail -n +7 | head -n -1
echo ""

# 3. IO等待时间
echo "3. IO等待时间:"
iostat -x 1 3 2>/dev/null | awk '/await/ {getline; print "  设备: "$1 "\n  平均等待: "$10" ms\n  IOPS: "$4"\n  吞吐: "$6" MB/s"}'
echo ""

# 4. 磁盘读写Top 10
echo "4. IO最活跃的进程:"
echo "  运行命令查看: iotop -o -P -d 1"
echo ""

# 5. 磁盘队列深度
echo "5. 磁盘队列深度:"
iostat -x 1 3 2>/dev/null | grep "avgqu-sz" | tail -1 | awk '{print "  平均队列深度: "$6}'
echo ""

# 6. 建议
echo "优化建议:"
echo "  - await > 10ms: 磁盘可能过载"
echo "  - %util > 80%: 磁盘接近饱和"
echo "  - avgqu-sz > 1: 请求在排队"
echo ""

五、网络性能排查

5.1 网络监控命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 实时网络流量
iftop

# 进程网络流量
nethogs

# 网络连接统计
ss -s

# 查看网络接口
ifconfig
ip addr show

# 网络包统计
netstat -s

# 查看网络连接
ss -antp
netstat -antp

# 查看网络速率
sar -n DEV 1 5

5.2 网络问题分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 查看网络流量Top 10
ss -tn | grep ESTAB | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head

# 查看网络错误
ethtool -S eth0 | grep error

# 查看丢包
sar -n EDEV 1 5

# 查看网络延迟
ping -c 10 8.8.8.8

# 查看网络路由
traceroute 8.8.8.8

# 查看网络连接状态
ss -s

5.3 网络优化脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
#!/bin/bash
# analyze_network.sh - 网络性能分析

echo "=== 网络性能分析 ==="
echo ""

# 1. 网络接口统计
echo "1. 网络接口流量:"
sar -n DEV 1 5 2>/dev/null | tail -n +8 | head -n -1
echo ""

# 2. 连接统计
echo "2. 网络连接统计:"
ss -s
echo ""

# 3. 网络延迟
echo "3. 网络延迟测试:"
ping -c 4 8.8.8.8 2>/dev/null | grep "time=" | awk -F= '{print "  延迟: "$2}'
echo ""

# 4. 网络错误
echo "4. 网络错误统计:"
netstat -s | grep -E "errors|packets|discard" | head -10
echo ""

# 5. 带宽使用
echo "5. 实时带宽使用:"
echo "  运行: iftop -i eth0"
echo ""

echo "分析完成"

六、综合性能监控

6.1 系统负载监控

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
#!/bin/bash
# system_load_monitor.sh - 系统负载监控

echo "=== 系统负载监控 ==="
echo ""

# 1. 系统负载
echo "1. 系统负载:"
uptime
load=$(uptime | awk -F'load average:' '{print $2}' | awk '{print $2}' | tr -d ',')
cpus=$(grep -c processor /proc/cpuinfo)
load_per_cpu=$(echo "scale=2; $load / $cpus" | bc)
echo "  负载: $load (每核心: $load_per_cpu)"
echo ""

# 2. CPU使用率
echo "2. CPU使用率:"
top -bn1 | grep "Cpu(s)" | sed 's/.*, *\([0-9.]*\)%* id.*/\1/' | awk '{print "  空闲: "$1"% | 使用: "100-$1"%"}'
echo ""

# 3. 内存使用率
echo "3. 内存使用率:"
free -m | awk 'NR==2{printf "  已用: %s MB (%s%%) | 可用: %s MB\n", $3, $3*100/$2, $7}'
echo ""

# 4. 磁盘IO
echo "4. 磁盘IO等待:"
iostat -x 1 3 2>/dev/null | tail -1 | awk '{print "  CPU等待IO: "$10"%"}'
echo ""

# 5. 网络连接
echo "5. 网络连接数:"
ss -tn state established 2>/dev/null | wc -l | awk '{print "  已建立连接: "$1}'
echo ""

# 6. 性能评分
echo "6. 性能评估:"
cpu_usage=$(top -bn1 | grep "Cpu(s)" | sed 's/.*, *\([0-9.]*\)%* id.*/\1/' | awk '{print 100-$1}')
mem_usage=$(free -m | awk 'NR==2{print $3*100/$2}')
io_wait=$(iostat -x 1 3 2>/dev/null | tail -1 | awk '{print $10}')

echo "  CPU使用率: ${cpu_usage}%"
echo "  内存使用率: ${mem_usage}%"
echo "  IO等待: ${io_wait}%"

# 判断健康状态
if (( $(echo "$cpu_usage > 80" | bc -l) )); then
    echo "  ⚠️  CPU使用率过高"
fi

if (( $(echo "$mem_usage > 85" | bc -l) )); then
    echo "  ⚠️  内存使用率过高"
fi

if (( $(echo "$io_wait > 20" | bc -l) )); then
    echo "  ⚠️  IO等待过高"
fi

echo ""
echo "性能监控完成"

6.2 性能诊断报告

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
#!/bin/bash
# performance_report.sh - 性能诊断报告

REPORT_FILE="/tmp/performance_report_$(date +%Y%m%d_%H%M%S).txt"

generate_report() {
    {
        echo "性能诊断报告"
        echo "生成时间: $(date)"
        echo "========================================"
        echo ""
        
        echo "一、系统信息"
        echo "主机名: $(hostname)"
        echo "内核: $(uname -r)"
        echo "运行时间: $(uptime -p)"
        echo ""
        
        echo "二、CPU性能"
        echo "CPU核心数: $(grep -c processor /proc/cpuinfo)"
        uptime
        top -bn1 | grep "Cpu(s)"
        echo ""
        
        echo "三、内存性能"
        free -h
        echo ""
        
        echo "四、磁盘IO"
        iostat -x 1 3
        echo ""
        
        echo "五、网络统计"
        ss -s
        echo ""
        
        echo "六、Top进程"
        ps aux --sort=-%cpu | head -20
        
    } > "$REPORT_FILE"
    
    echo "报告已生成: $REPORT_FILE"
    cat "$REPORT_FILE"
}

generate_report

七、性能瓶颈定位

7.1 性能瓶颈诊断

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#!/bin/bash
# diagnose_bottleneck.sh - 性能瓶颈诊断

echo "=== 性能瓶颈诊断 ==="

# 检查CPU瓶颈
check_cpu() {
    local cpu_idle=$(vmstat 1 3 | tail -1 | awk '{print $15}')
    
    if (( $(echo "$cpu_idle < 20" | bc -l) )); then
        echo "🔴 CPU瓶颈: 空闲率仅 ${cpu_idle}%"
        echo "  建议: 优化CPU密集型进程"
        return 1
    else
        echo "✓ CPU正常: 空闲率 ${cpu_idle}%"
        return 0
    fi
}

# 检查内存瓶颈
check_memory() {
    local mem_free=$(free -m | awk 'NR==2{print $7*100/$2}')
    
    if (( $(echo "$mem_free < 10" | bc -l) )); then
        echo "🔴 内存瓶颈: 可用内存仅 ${mem_free}%"
        echo "  建议: 增加内存或优化内存使用"
        return 1
    else
        echo "✓ 内存正常: 可用内存 ${mem_free}%"
        return 0
    fi
}

# 检查磁盘IO瓶颈
check_disk() {
    local io_wait=$(iostat -x 1 3 | tail -1 | awk '{print $10}')
    
    if (( $(echo "$io_wait > 20" | bc -l) )); then
        echo "🔴 磁盘IO瓶颈: CPU等待IO ${io_wait}%"
        echo "  建议: 使用SSD或优化存储"
        return 1
    else
        echo "✓ 磁盘IO正常: CPU等待IO ${io_wait}%"
        return 0
    fi
}

# 检查网络瓶颈
check_network() {
    local errors=$(netstat -s | grep -i error | head -5)
    
    if [ -n "$errors" ]; then
        echo "🔴 网络异常: 检测到错误"
        echo "  $errors"
        return 1
    else
        echo "✓ 网络正常"
        return 0
    fi
}

# 主诊断
main() {
    echo ""
    check_cpu
    echo ""
    check_memory
    echo ""
    check_disk
    echo ""
    check_network
    echo ""
    echo "诊断完成"
}

main

八、性能优化实战

8.1 CPU优化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/bin/bash
# optimize_cpu.sh - CPU优化脚本

# 1. 设置CPU性能模式
for cpu in /sys/devices/system/cpu/cpu*/cpufreq; do
    echo performance > $cpu/scaling_governor
done

echo "✓ CPU性能模式已设置"

# 2. 禁用不需要的服务
SERVICES_TO_DISABLE=(
    "bluetooth"
    "cups"
    "avahi-daemon"
)

for service in "${SERVICES_TO_DISABLE[@]}"; do
    systemctl disable --now $service 2>/dev/null
done

echo "✓ 已禁用不必要服务"

# 3. CPU亲和性优化
# 示例：将进程绑定到特定CPU
# taskset -c 0-3 myapp

8.2 内存优化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#!/bin/bash
# optimize_memory.sh - 内存优化脚本

# 1. 调整Swappiness
echo "10" > /proc/sys/vm/swappiness

# 2. 调整脏页参数
echo "5" > /proc/sys/vm/dirty_background_ratio
echo "15" > /proc/sys/vm/dirty_ratio

# 3. 清理缓存（谨慎使用）
# sync && echo 3 > /proc/sys/vm/drop_caches

echo "✓ 内存参数已优化"

# 4. 配置大页内存（如果需要）
# echo 1024 > /proc/sys/vm/nr_hugepages

8.3 磁盘IO优化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#!/bin/bash
# optimize_disk.sh - 磁盘IO优化

# 1. 设置I/O调度器
# SSD使用noop
# echo noop > /sys/block/sda/queue/scheduler

# 机械硬盘使用deadline
# echo deadline > /sys/block/sdb/queue/scheduler

# 2. 设置预读
# echo 4096 > /sys/block/sda/queue/read_ahead_kb

# 3. 增加队列深度
# echo 1024 > /sys/block/sda/queue/nr_requests

echo "✓ 磁盘IO参数已优化"

# 4. 定期清理日志和缓存
find /var/log -name "*.log" -mtime +7 -delete

echo "✓ 已清理旧日志"

8.4 网络优化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/bin/bash
# optimize_network.sh - 网络优化脚本

# 1. 调整网络参数
cat >> /etc/sysctl.conf << 'NETWORK_EOF'
# 网络优化
net.core.somaxconn = 4096
net.core.netdev_max_backlog = 5000
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_tw_reuse = 1
NETWORK_EOF

sysctl -p

echo "✓ 网络参数已优化"

九、性能监控告警

9.1 实时监控脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
#!/bin/bash
# realtime_monitor.sh - 实时性能监控

monitor() {
    while true; do
        clear
        echo "=== 实时性能监控 ==="
        echo "更新时间: $(date '+%Y-%m-%d %H:%M:%S')"
        echo ""
        
        # 系统负载
        uptime
        echo ""
        
        # CPU使用率
        top -bn1 | grep "Cpu(s)"
        echo ""
        
        # 内存使用
        free -h | grep "Mem:"
        echo ""
        
        # 磁盘IO
        iostat -x 1 2 | tail -2
        echo ""
        
        # Top 5 进程
        ps aux --sort=-%cpu | head -6
        echo ""
        
        sleep 5
    done
}

monitor

9.2 性能告警

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#!/bin/bash
# performance_alert.sh - 性能告警脚本

check_thresholds() {
    # CPU告警
    local cpu_usage=$(top -bn1 | grep "Cpu(s)" | sed 's/.*, *\([0-9.]*\)%* id.*/\1/' | awk '{print 100-$1}')
    if (( $(echo "$cpu_usage > 90" | bc -l) )); then
        send_alert "CPU告警" "CPU使用率: ${cpu_usage}%"
    fi
    
    # 内存告警
    local mem_usage=$(free -m | awk 'NR==2{print $3*100/$2}')
    if (( $(echo "$mem_usage > 90" | bc -l) )); then
        send_alert "内存告警" "内存使用率: ${mem_usage}%"
    fi
    
    # 磁盘告警
    local disk_usage=$(df -h / | tail -1 | awk '{print $5}' | sed 's/%//')
    if [ "$disk_usage" -gt 85 ]; then
        send_alert "磁盘告警" "磁盘使用率: ${disk_usage}%"
    fi
}

send_alert() {
    local subject=$1
    local message=$2
    
    echo "[$(date)] $subject: $message"
    
    # 发送告警
    mail -s "$subject" admin@example.com << EOF
$message
EOF
}

check_thresholds

十、性能测试基准

10.1 性能基准测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#!/bin/bash
# performance_benchmark.sh - 性能基准测试

benchmark() {
    echo "=== 性能基准测试 ==="
    echo ""
    
    # 1. CPU基准测试
    echo "1. CPU基准测试:"
    time (find /usr -name "*.conf" 2>/dev/null | wc -l)
    echo ""
    
    # 2. 内存基准测试
    echo "2. 内存基准测试:"
    time (dd if=/dev/zero of=/tmp/test bs=1M count=1000 2>&1 | grep copied)
    rm -f /tmp/test
    echo ""
    
    # 3. 磁盘IO基准测试
    echo "3. 磁盘IO基准测试:"
    time (dd if=/dev/zero of=/tmp/test bs=1M count=1000 && sync)
    rm -f /tmp/test
    echo ""
    
    # 4. 网络基准测试
    echo "4. 网络延迟测试:"
    ping -c 10 8.8.8.8 | grep "min/avg/max"
    echo ""
    
    echo "基准测试完成"
}

benchmark

十一、最佳实践

11.1 性能排查清单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
性能排查最佳实践:
  1. 建立基线:
    - 记录正常性能指标
    - 定期采集数据
    - 对比分析变化
  
  2. 监控优先级:
    - CPU > 内存 > 磁盘IO > 网络
    - 关键服务优先
  
  3. 工具组合:
    - 快速定位: top, htop
    - 详细分析: vmstat, iostat
    - 深度诊断: perf, strace
  
  4. 定期检查:
    - 每日性能巡检
    - 每周详细分析
    - 每月优化报告
  
  5. 自动告警:
    - 设置合理阈值
    - 及时通知
    - 快速响应

11.2 性能优化清单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
性能优化清单:
  CPU优化:
    - 使用性能模式
    - 进程绑定CPU
    - 优化算法
    - 禁用不必要服务
  
  内存优化:
    - 调整swappiness
    - 优化缓存策略
    - 定期清理
    - 使用大页内存
  
  磁盘IO优化:
    - 选择合适调度器
    - 使用SSD
    - 优化文件系统
    - 调整队列深度
  
  网络优化:
    - TCP参数调优
    - 增加连接数
    - 使用BBR算法
    - 配置负载均衡

十二、总结

系统性能排查是运维的核心技能。本文涵盖：

核心要点

  1. CPU排查：top、vmstat、perf分析
  2. 内存排查：free、vmstat、内存泄漏
  3. 磁盘IO排查：iostat、iotop、存储优化
  4. 网络排查：iftop、nethogs、网络延迟

技术要点

  • 监控工具：系统监控工具组合
  • 性能分析：瓶颈定位与诊断
  • 优化策略：针对性优化
  • 告警机制：自动化监控

实践建议

  1. 建立性能基线与监控
  2. 使用工具组合排查
  3. 根据瓶颈制定针对性优化
  4. 设置自动化告警
  5. 定期进行性能测试

通过系统化性能排查，可提升系统稳定性和处理能力。