知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 06 - 磁盘 I/O 调度与优化 ## I/O 调度器的作用 I/O 调度器位于通用块层和设备驱动之间,负责对 I/O 请求进行排序和合并,以提高磁盘效率。  *图:磁盘 I/O 路径与 I/O 调度器的排序合并优先级* ``` 文件系统 │ ▼ 通用块层(生成 I/O 请求) │ ▼ ┌─────────────────────────┐ │ I/O 调度器 │ │ │ │ 排序:减少磁头移动距离 │ │ 合并:相邻请求合并为一个 │ │ 优先级:防止请求饿死 │ └────────────┬────────────┘ │ ▼ 设备驱动 → 磁盘 ``` ## Linux I/O 调度器 ### 单队列调度器(传统,适用于 HDD) ``` 1. noop(No Operation) 不做任何排序,只做简单合并 适用于:SSD、虚拟机磁盘、RAID 阵列(硬件已做优化) 请求队列:[R1] [R2] [R3] [R4] → 按到达顺序处理 2. deadline 为每个请求设置截止时间,防止饿死 读请求截止:500ms,写请求截止:5s(读优先) 适用于:数据库等对延迟敏感的场景 排序队列:按扇区号排序 截止队列:按截止时间排序 优先处理即将超时的请求 3. cfq(Completely Fair Queuing) 为每个进程维护独立的 I/O 队列,公平调度 适用于:桌面系统、多用户环境 Linux 2.6~4.x 的默认调度器 ``` ### 多队列调度器(现代,适用于 SSD/NVMe) ``` 4. mq-deadline(多队列版 deadline) deadline 的多队列版本 适用于:SSD、NVMe Linux 5.x 的默认调度器 5. bfq(Budget Fair Queuing) cfq 的改进版,更好的交互性 适用于:桌面系统、低速设备 6. kyber 针对快速设备优化的轻量级调度器 适用于:NVMe SSD 自动调整读写队列深度 7. none 不使用调度器,请求直接发送到设备 适用于:NVMe SSD(设备内部有调度能力) ``` ### 查看和修改调度器 ```bash # 查看当前调度器(方括号中的是当前使用的) cat /sys/block/sda/queue/scheduler # 输出:[mq-deadline] kyber bfq none # 临时修改 echo "kyber" > /sys/block/sda/queue/scheduler # 永久修改(GRUB) # /etc/default/grub GRUB_CMDLINE_LINUX="elevator=mq-deadline" # 查看调度器参数 ls /sys/block/sda/queue/iosched/ # deadline 的参数: # read_expire — 读请求截止时间(ms) # write_expire — 写请求截止时间(ms) # fifo_batch — 批量处理的请求数 ``` ### 调度器选择建议 ``` HDD(机械硬盘): 通用 → mq-deadline 数据库 → mq-deadline(读优先) 桌面 → bfq(交互性好) SSD(SATA): 通用 → mq-deadline 或 kyber 高 IOPS → kyber NVMe SSD: 通用 → none(设备自身调度能力强) 或 mq-deadline 虚拟机: → none 或 mq-deadline(宿主机已做调度) ``` ## 预读(Read-Ahead) 内核在读取数据时,会预测性地多读一些后续数据到 Page Cache。 ``` 应用请求读取 Block 100 没有预读: 读取 Block 100 → 返回 有预读: 读取 Block 100~115 → 返回 Block 100 后续读取 Block 101~115 时直接命中 Page Cache 预读对顺序读取非常有效 对随机读取可能浪费带宽 ``` ```bash # 查看预读大小(单位:512 字节扇区) blockdev --getra /dev/sda # 输出:256(即 128KB) # 设置预读大小 blockdev --setra 512 /dev/sda # 设为 256KB # 应用层控制预读 posix_fadvise(fd, offset, length, POSIX_FADV_SEQUENTIAL); # 顺序访问,增大预读 posix_fadvise(fd, offset, length, POSIX_FADV_RANDOM); # 随机访问,关闭预读 posix_fadvise(fd, offset, length, POSIX_FADV_DONTNEED); # 不再需要,释放缓存 ``` ## I/O 队列深度 ``` 队列深度(Queue Depth):设备同时处理的 I/O 请求数 HDD:队列深度通常 1~32 机械磁盘一次只能处理一个请求(NCQ 可以重排序) SSD:队列深度可达 32~1024 内部有多个通道并行处理 NVMe:队列深度可达 65535 支持多队列(最多 65535 个队列,每个队列 65535 深度) ``` ```bash # 查看设备队列深度 cat /sys/block/sda/queue/nr_requests # 查看设备支持的最大队列深度 cat /sys/block/sda/device/queue_depth # 修改队列深度 echo 128 > /sys/block/sda/queue/nr_requests ``` ## 直接 I/O vs 缓冲 I/O ``` 缓冲 I/O(Buffered I/O)— 默认: 应用 → Page Cache → 磁盘 优点:Page Cache 加速,OS 管理缓存 缺点:双重缓存(应用缓存 + Page Cache) 直接 I/O(Direct I/O): 应用 → 磁盘(绕过 Page Cache) 优点:避免双重缓存,减少内存占用 缺点:应用需要自己管理缓存 使用场景: 数据库(MySQL InnoDB)→ Direct I/O + 自己的 Buffer Pool 日志系统(Kafka)→ Buffered I/O(依赖 Page Cache) 大文件传输 → Direct I/O(避免污染 Page Cache) ``` ## Linux AIO 与 io_uring ### Linux Native AIO ```c #include <libaio.h> io_context_t ctx = 0; io_setup(128, &ctx); // 最多 128 个并发请求 struct iocb cb; io_prep_pread(&cb, fd, buf, 4096, 0); // 准备异步读 struct iocb *cbs[1] = {&cb}; io_submit(ctx, 1, cbs); // 提交 struct io_event events[1]; io_getevents(ctx, 1, 1, events, NULL); // 等待完成 io_destroy(ctx); ``` 限制: - 只支持 O_DIRECT(不能用 Page Cache) - 某些情况下会退化为同步 - API 不够友好 ### io_uring(Linux 5.1+,推荐) ```c #include <liburing.h> struct io_uring ring; io_uring_queue_init(32, &ring, 0); // 队列深度 32 // 准备读请求 struct io_uring_sqe *sqe = io_uring_get_sqe(&ring); io_uring_prep_read(sqe, fd, buf, 4096, 0); io_uring_sqe_set_data(sqe, user_data); // 提交 io_uring_submit(&ring); // 获取完成事件 struct io_uring_cqe *cqe; io_uring_wait_cqe(&ring, &cqe); // cqe->res 是读取的字节数 io_uring_cqe_seen(&ring, cqe); io_uring_queue_exit(&ring); ``` io_uring 的优势: ``` 1. 共享内存环形缓冲区,减少系统调用 2. 支持 Buffered I/O 和 Direct I/O 3. 支持文件 I/O、网络 I/O、定时器等 4. 支持链式请求(请求之间有依赖关系) 5. 支持固定缓冲区(减少内存映射开销) 6. 批量提交和批量完成 ``` ## 文件系统层面的优化 ```bash # ext4 挂载选项优化 mount -o noatime,nodiratime /dev/sda1 /data # noatime:不更新文件访问时间(减少写入) # nodiratime:不更新目录访问时间 # 关闭日志(危险,仅特殊场景) tune2fs -O ^has_journal /dev/sda1 # XFS 挂载优化 mount -o noatime,logbufs=8,logbsize=256k /dev/sda1 /data # 调整文件系统块大小(创建时指定) mkfs.ext4 -b 4096 /dev/sda1 # 4KB 块大小(默认) ``` ## 本章小结 - I/O 调度器对 HDD 性能影响大,对 SSD 影响小 - NVMe SSD 通常使用 none 调度器 - 预读对顺序读取有显著加速效果 - Direct I/O 适合自己管理缓存的应用 - io_uring 是 Linux 异步 I/O 的最佳选择 ## 思考题 1. 为什么 NVMe SSD 不需要 I/O 调度器? 2. 数据库为什么使用 Direct I/O 而不是依赖 Page Cache? --- 上一篇:[05 - 零拷贝与高性能 I/O](./05-zero-copy.md) | 下一篇:[07 - 网络 I/O 架构](./07-network-io.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入