知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 08 - I/O 性能分析与调优 ## I/O 性能指标 ``` 吞吐量(Throughput): 单位时间内传输的数据量(MB/s) 顺序读写关注吞吐量 IOPS(I/O Operations Per Second): 每秒完成的 I/O 操作次数 随机读写关注 IOPS 延迟(Latency): 单次 I/O 操作的耗时 数据库等延迟敏感应用关注 利用率(Utilization): 设备忙碌时间的百分比 > 80% 通常意味着设备成为瓶颈 队列深度(Queue Depth): 等待处理的 I/O 请求数 过高说明设备处理不过来 ``` ## iostat — 磁盘 I/O 统计 ```bash # 基本用法(每 2 秒输出一次,共 5 次) iostat -xz 2 5 # 输出示例: # Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s await r_await w_await svctm %util # sda 150.0 50.0 4800.0 1600.0 5.0 20.0 2.5 1.8 4.6 0.8 16.0 # nvme0n1 5000.0 2000.0 80000.0 32000.0 0.0 0.0 0.1 0.08 0.15 0.01 7.0 ``` ### 关键字段解读 ``` r/s, w/s — 每秒读/写请求数(IOPS) rkB/s, wkB/s — 每秒读/写数据量(吞吐量) rrqm/s, wrqm/s — 每秒合并的读/写请求数(合并越多越好) await — 平均 I/O 等待时间(ms),包含队列等待 + 服务时间 r_await, w_await — 读/写的平均等待时间 svctm — 平均服务时间(已废弃,不准确) %util — 设备利用率 判断标准: %util > 80% → 设备可能成为瓶颈 await > 10ms → HDD 正常,SSD 偏高 await > 1ms → NVMe 偏高 rrqm/wrqm 很低 → I/O 模式可能是随机的 ``` ### 实用命令 ```bash # 只看特定设备 iostat -xz -d sda 1 # 查看分区级别的统计 iostat -xz -p sda 1 # 以 MB 为单位显示 iostat -xz -m 1 # 查看 NVMe 设备 iostat -xz -d nvme0n1 1 ``` ## iotop — 进程级 I/O 监控 ```bash # 查看哪个进程在做 I/O iotop # 只显示有 I/O 活动的进程 iotop -o # 批量模式(适合脚本) iotop -b -n 5 # 输出示例: # TID PRIO USER DISK READ DISK WRITE COMMAND # 1234 be/4 mysql 50.00 M/s 20.00 M/s mysqld # 5678 be/4 kafka 30.00 M/s 80.00 M/s java # 9012 be/4 root 0.00 B/s 5.00 M/s rsync ``` ## pidstat — 进程 I/O 统计 ```bash # 查看进程的 I/O 统计(每 2 秒) pidstat -d 2 # 查看特定进程 pidstat -d -p <pid> 1 # 输出示例: # PID kB_rd/s kB_wr/s kB_ccwr/s Command # 1234 5120.00 2048.00 0.00 mysqld # 5678 3072.00 8192.00 0.00 java # kB_rd/s — 每秒读取 KB # kB_wr/s — 每秒写入 KB # kB_ccwr/s — 每秒取消的写入 KB(Page Cache 中被覆盖的脏页) ``` ## blktrace — 块层 I/O 追踪 ```bash # 追踪块设备 I/O(需要 root) blktrace -d /dev/sda -o trace # 分析追踪结果 blkparse -i trace -o result.txt # 或者用 btt 生成统计报告 btt -i trace.blktrace.0 # 实时追踪 blktrace -d /dev/sda -o - | blkparse -i - # I/O 生命周期各阶段: # Q — 请求进入队列 # G — 请求被分配 # I — 请求被插入调度器 # D — 请求被发送到设备 # C — 请求完成 # # Q2C = 总延迟 # D2C = 设备服务时间 # Q2D = 队列等待时间 ``` ## strace — 系统调用追踪 ```bash # 追踪文件 I/O 相关的系统调用 strace -e trace=read,write,open,close,fsync -p <pid> # 统计系统调用耗时 strace -c -p <pid> # 输出: # % time seconds usecs/call calls errors syscall # ------ ----------- ----------- --------- --------- -------- # 45.23 0.123456 12 10000 write # 30.15 0.082345 82 1000 fsync # 15.62 0.042567 4 10000 read # 追踪并显示时间戳 strace -T -e trace=file -p <pid> # -T 显示每个系统调用的耗时 ``` ## perf — 性能分析 ```bash # I/O 相关的性能事件 perf stat -e block:block_rq_issue,block:block_rq_complete -a sleep 10 # 追踪块 I/O 请求 perf record -e block:block_rq_issue -a sleep 10 perf report # 火焰图(找出 I/O 热点) perf record -g -a sleep 30 perf script | stackcollapse-perf.pl | flamegraph.pl > io-flame.svg ``` ## /proc 和 /sys 中的 I/O 信息 ```bash # 进程的 I/O 统计 cat /proc/<pid>/io # rchar: 读取的字节数(包含 Page Cache 命中) # wchar: 写入的字节数 # read_bytes: 实际从磁盘读取的字节数 # write_bytes: 实际写入磁盘的字节数 # 磁盘统计 cat /proc/diskstats # 块设备队列信息 ls /sys/block/sda/queue/ # nr_requests — 队列深度 # scheduler — 调度器 # read_ahead_kb — 预读大小 # rotational — 是否是旋转设备(0=SSD, 1=HDD) # 内存和 Page Cache 信息 cat /proc/meminfo | grep -E "Cached|Dirty|Writeback" # Cached: Page Cache 大小 # Dirty: 脏页大小 # Writeback: 正在写回的页大小 ``` ## 实战案例 ### 案例 1:数据库查询慢,疑似磁盘瓶颈 ```bash # 步骤 1:确认磁盘是否繁忙 iostat -xz 1 # 观察 %util 和 await # 步骤 2:找出哪个进程在做 I/O iotop -o # 步骤 3:分析 I/O 模式 # 如果 rrqm/wrqm 很低 → 随机 I/O # 如果 r/s 很高但 rkB/s 不高 → 小块随机读 # 步骤 4:解决方案 # 随机读多 → 增加内存(让更多数据缓存在 Page Cache) # 随机写多 → 使用 SSD # 顺序写慢 → 检查调度器、增大预读 ``` ### 案例 2:应用写入延迟突然增大 ```bash # 步骤 1:检查脏页情况 cat /proc/meminfo | grep Dirty # 如果 Dirty 很大 → 脏页积压,触发了同步刷盘 # 步骤 2:检查 I/O 等待 iostat -xz 1 # 如果 await 突然增大 → 设备处理不过来 # 步骤 3:检查是否有其他进程抢占 I/O iotop -o # 步骤 4:可能的原因 # - 脏页比例达到 dirty_ratio,触发同步写 # - 其他进程(如备份、日志轮转)抢占 I/O # - 磁盘故障导致性能下降 # 步骤 5:调优 sysctl -w vm.dirty_background_ratio=5 # 更早开始后台刷盘 sysctl -w vm.dirty_ratio=10 # 降低同步刷盘阈值 # 或使用 ionice 降低备份进程的 I/O 优先级 ionice -c 3 -p <backup_pid> ``` ### 案例 3:Page Cache 命中率低 ```bash # 查看 Page Cache 使用情况 free -h # 查看特定文件是否在缓存中 vmtouch /path/to/data/file # 如果命中率低: # 1. 内存不足 → 增加内存 # 2. 工作集太大 → 优化数据访问模式 # 3. 其他进程污染了缓存 → 使用 cgroup 限制内存 # 4. 使用 fadvise 提示内核 ``` ## I/O 优化检查清单 ``` 硬件层: □ SSD vs HDD 选择合理 □ NVMe 用于高 IOPS 场景 □ RAID 配置合理(或使用软件副本) 内核层: □ I/O 调度器选择正确(SSD → none/mq-deadline) □ 预读大小合理 □ 脏页参数调优 □ 文件描述符限制足够 文件系统层: □ 文件系统类型选择合理(ext4/XFS) □ 挂载选项优化(noatime) □ 日志模式合理 应用层: □ 使用合适的 I/O 模型(epoll/io_uring) □ 批量 I/O 减少系统调用 □ 合理使用 Page Cache 或 Direct I/O □ 使用零拷贝(sendfile/mmap) □ 避免不必要的 fsync 网络层: □ Socket 缓冲区大小合理 □ TCP 参数优化 □ 网卡多队列 + 中断亲和性 ``` ## 推荐工具速查 | 工具 | 用途 | 常用命令 | |------|------|---------| | iostat | 磁盘 I/O 统计 | `iostat -xz 1` | | iotop | 进程 I/O 监控 | `iotop -o` | | pidstat | 进程 I/O 统计 | `pidstat -d 1` | | blktrace | 块层追踪 | `blktrace -d /dev/sda` | | strace | 系统调用追踪 | `strace -e trace=file -p <pid>` | | perf | 性能分析 | `perf record -e block:*` | | vmtouch | Page Cache 分析 | `vmtouch /path/to/file` | | fio | I/O 基准测试 | `fio --name=test --rw=randread` | | hdparm | 磁盘参数/测速 | `hdparm -Tt /dev/sda` | ## fio — I/O 基准测试 ```bash # 顺序写测试 fio --name=seq-write --ioengine=libaio --direct=1 \ --rw=write --bs=1m --size=1g --numjobs=1 --runtime=60 # 随机读测试 fio --name=rand-read --ioengine=libaio --direct=1 \ --rw=randread --bs=4k --size=1g --numjobs=4 --iodepth=32 --runtime=60 # 混合随机读写(70% 读 30% 写) fio --name=mixed --ioengine=libaio --direct=1 \ --rw=randrw --rwmixread=70 --bs=4k --size=1g \ --numjobs=4 --iodepth=32 --runtime=60 # 关键输出指标: # IOPS: 每秒 I/O 操作数 # BW: 带宽(吞吐量) # lat: 延迟(avg/p99/p999) ``` ## 本章小结 - iostat 是磁盘 I/O 分析的第一工具,关注 %util 和 await - iotop 快速定位哪个进程在做 I/O - blktrace 提供块层的详细追踪 - fio 是 I/O 基准测试的标准工具 - I/O 优化需要从硬件到应用全链路考虑 ## 推荐阅读 - 《性能之巅》(Systems Performance)— Brendan Gregg - 《UNIX 环境高级编程》— W. Richard Stevens - 《Linux 内核设计与实现》— Robert Love - Brendan Gregg 的博客:https://www.brendangregg.com/ --- 上一篇:[07 - 网络 I/O 架构](./07-network-io.md) | 返回:[目录](./README.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入