知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 03 - 内核 I/O 栈 ## Linux I/O 栈全景  *图:内核 I/O 栈:从系统调用逐层下沉到物理设备* ``` 用户空间 ┌─────────────────────────────────────┐ │ 应用程序 │ │ read() / write() / mmap() │ └──────────────┬──────────────────────┘ │ 系统调用 ═══════════════╪══════════════════════════ 用户态/内核态边界 │ 内核空间 ▼ ┌─────────────────────────────────────┐ │ VFS(虚拟文件系统) │ │ file_operations: read/write/mmap │ └──────────────┬──────────────────────┘ │ ┌──────────────▼──────────────────────┐ │ 具体文件系统(ext4/XFS) │ │ 地址空间操作、Extent 管理 │ └──────────────┬──────────────────────┘ │ ┌──────────────▼──────────────────────┐ │ Page Cache │ │ 页缓存,减少磁盘 I/O │ └──────────────┬──────────────────────┘ │ ┌──────────────▼──────────────────────┐ │ 通用块层(Block Layer) │ │ I/O 请求合并、排序 │ └──────────────┬──────────────────────┘ │ ┌──────────────▼──────────────────────┐ │ I/O 调度器 │ │ noop / deadline / cfq / mq-deadline│ └──────────────┬──────────────────────┘ │ ┌──────────────▼──────────────────────┐ │ 块设备驱动 │ │ SCSI / NVMe / virtio │ └──────────────┬──────────────────────┘ │ ▼ 物理设备 ``` ## 系统调用层 ### 文件描述符  *图:fd 0~5 指向 stdin、普通文件、socket 与设备* ``` 进程打开文件时,内核返回一个文件描述符(fd),是一个非负整数。 进程的文件描述符表: ┌────┬──────────────────────┐ │ fd │ 指向的内核文件对象 │ ├────┼──────────────────────┤ │ 0 │ stdin(标准输入) │ │ 1 │ stdout(标准输出) │ │ 2 │ stderr(标准错误) │ │ 3 │ /home/user/data.txt │ │ 4 │ socket (TCP连接) │ │ 5 │ /dev/sda │ └────┴──────────────────────┘ 在 Linux 中,一切皆文件: 普通文件、目录、设备、管道、Socket 都通过 fd 操作 ``` ### 核心系统调用 ```c // 打开文件 int fd = open("/path/to/file", O_RDWR | O_CREAT, 0644); // 读取 ssize_t n = read(fd, buffer, size); // 写入 ssize_t n = write(fd, buffer, size); // 定位 off_t pos = lseek(fd, offset, SEEK_SET); // 关闭 close(fd); // 同步到磁盘 fsync(fd); // 同步文件数据和元数据 fdatasync(fd); // 只同步文件数据(不含元数据) sync(); // 同步所有文件系统缓冲区 ``` ### write() 的完整路径 ``` 用户调用 write(fd, buf, 4096) 1. 系统调用进入内核 2. VFS 层:根据 fd 找到 file 对象,调用文件系统的 write 方法 3. 文件系统层:计算数据应该写到哪些块 4. Page Cache: a. 在 Page Cache 中找到或创建对应的页 b. 将用户数据拷贝到 Page Cache 的页中 c. 标记页为"脏页"(dirty) d. write() 返回(此时数据还没到磁盘) 5. 后台刷盘: a. 内核线程 pdflush/kworker 定期将脏页写入磁盘 b. 或者脏页比例超过阈值时触发 c. 或者用户调用 fsync() 强制刷盘 ``` ## Page Cache(页缓存) Page Cache 是 Linux I/O 性能的核心。  *图:物理内存中的 Page Cache:干净页与脏页* ``` ┌─────────────────────────────────────────┐ │ 物理内存 │ │ │ │ ┌───────────────────────────────────┐ │ │ │ Page Cache │ │ │ │ │ │ │ │ ┌─────┐ ┌─────┐ ┌─────┐ │ │ │ │ │Page │ │Page │ │Page │ ... │ │ │ │ │(干净)│ │(脏) │ │(干净)│ │ │ │ │ └──┬──┘ └──┬──┘ └──┬──┘ │ │ │ │ │ │ │ │ │ │ └─────┼───────┼───────┼───────────┘ │ │ │ │ │ │ │ ┌─────┼───────┼───────┼───────────┐ │ │ │ ▼ ▼ ▼ │ │ │ │ 内核其他内存(进程、内核数据等) │ │ │ └─────────────────────────────────┘ │ └─────────────────────────────────────────┘ 干净页(Clean):与磁盘数据一致,可以直接回收 脏页(Dirty):已修改但未写入磁盘,回收前必须先刷盘 ``` ### Page Cache 的工作流程 ``` 读取流程: read(fd, buf, 4096) 1. 检查 Page Cache 中是否有对应的页 2. 命中 → 直接从 Page Cache 拷贝到用户缓冲区(零磁盘 I/O) 3. 未命中 → 从磁盘读取到 Page Cache → 拷贝到用户缓冲区 写入流程: write(fd, buf, 4096) 1. 在 Page Cache 中找到或创建对应的页 2. 将用户数据拷贝到 Page Cache 3. 标记为脏页 4. 返回(异步写入磁盘) ``` ### 脏页刷盘策略 ```bash # 查看当前脏页相关参数 sysctl -a | grep dirty # 脏页占总内存的比例达到此值时,后台开始刷盘 vm.dirty_background_ratio = 10 # 默认 10% # 脏页占总内存的比例达到此值时,阻塞写入进程强制刷盘 vm.dirty_ratio = 20 # 默认 20% # 脏页最长存活时间(超过后强制刷盘) vm.dirty_expire_centisecs = 3000 # 默认 30 秒 # 刷盘线程唤醒间隔 vm.dirty_writeback_centisecs = 500 # 默认 5 秒 ``` ### Page Cache 的回收 ``` 当内存不足时,内核需要回收 Page Cache: 1. 干净页:直接回收(下次读取时重新从磁盘加载) 2. 脏页:先刷盘,再回收 3. 回收算法:LRU(最近最少使用)的变体 - Active List:最近被访问的页 - Inactive List:较长时间未访问的页 - 优先回收 Inactive List 中的页 ``` ```bash # 查看 Page Cache 使用情况 free -h # 输出中的 buff/cache 就是 Page Cache + Buffer Cache # 手动清除 Page Cache(生产环境慎用) echo 1 > /proc/sys/vm/drop_caches # 清除 Page Cache echo 2 > /proc/sys/vm/drop_caches # 清除 dentry 和 inode 缓存 echo 3 > /proc/sys/vm/drop_caches # 清除以上所有 # 查看文件是否在 Page Cache 中 vmtouch /path/to/file # 或 fincore /path/to/file ``` ## 通用块层(Block Layer) 将文件系统的 I/O 请求转换为块设备的 I/O 请求。  *图:通用块层的四件事:换算块号、建 bio、合并请求* ``` 文件系统层 │ ▼ ┌─────────────────────────────────┐ │ 通用块层 │ │ │ │ 1. 将文件偏移转换为磁盘块号 │ │ 2. 创建 bio 结构(I/O 请求) │ │ 3. 合并相邻的 I/O 请求 │ │ 4. 提交给 I/O 调度器 │ └─────────────────────────────────┘ │ ▼ I/O 调度器 ``` ### bio 结构  *图:bio 的字段与 bi_io_vec 指向的内存页* ``` bio 是内核中描述一次块 I/O 操作的核心数据结构 bio { bi_sector: 起始扇区号 bi_size: 数据大小 bi_rw: 读/写方向 bi_io_vec[]: 指向内存页的向量 ┌─────────────────┐ │ page | offset | len │ → 内存中的数据位置 ├─────────────────┤ │ page | offset | len │ └─────────────────┘ } ``` ### I/O 请求合并 ``` 合并前: bio1: 读取扇区 100~107 bio2: 读取扇区 108~115 bio3: 读取扇区 200~207 合并后: request1: 读取扇区 100~115(bio1 + bio2 合并) request2: 读取扇区 200~207(bio3 单独) 合并减少了磁盘寻道次数,提高了 I/O 效率 ``` ## Buffer Cache vs Page Cache  *图:Page Cache 与 Buffer Cache 从分离走向统一* ``` 早期 Linux(2.4 之前): Page Cache:缓存文件数据(以页为单位) Buffer Cache:缓存磁盘块(以块为单位) 两者独立,可能缓存同一份数据 现代 Linux(2.4+): 统一为 Page Cache Buffer Cache 成为 Page Cache 的一个视图 buffer_head 结构描述页中的各个块 ┌──────────────────────────┐ │ Page (4KB) │ │ ┌──────┬──────┬──────┐ │ │ │Block │Block │Block │ │ ← buffer_head 描述每个块 │ │ 0 │ 1 │ ... │ │ │ └──────┴──────┴──────┘ │ └──────────────────────────┘ ``` ## 用 strace 观察 I/O 系统调用 ```bash # 追踪文件 I/O 系统调用 strace -e trace=open,read,write,close cat /etc/hostname # 追踪并统计系统调用耗时 strace -c -e trace=file ls -la / # 追踪特定进程的 I/O strace -p <pid> -e trace=read,write # 输出示例: # open("/etc/hostname", O_RDONLY) = 3 # read(3, "myhost\n", 131072) = 7 # write(1, "myhost\n", 7) = 7 # close(3) = 0 ``` ## 本章小结 - Linux I/O 栈从上到下:系统调用 → VFS → 文件系统 → Page Cache → 块层 → 驱动 → 设备 - Page Cache 是 I/O 性能的核心,大多数读写都在内存中完成 - write() 返回不代表数据已到磁盘,需要 fsync() 保证持久化 - 通用块层负责 I/O 请求的合并和调度 ## 思考题 1. 为什么 Kafka 不自己管理缓存,而是依赖 OS 的 Page Cache? 2. fsync() 和 fdatasync() 有什么区别?什么时候用哪个? > > **1. Kafka 为什么依赖 OS Page Cache 而不自己管理缓存?** > > 四个原因: > - 避免双重缓存:Kafka 是 JVM 应用,如果自己在堆内存里缓存数据,OS 的 Page Cache 也会缓存一份 → 同一份数据存两遍,浪费内存 > - 避免 GC 问题:大量堆内存 → 频繁 Full GC → 停顿几秒 → 消息延迟飙升。交给 OS 管理的内存不受 GC 影响 > - 利用所有空闲内存:OS 会自动把所有空闲物理内存用作 Page Cache,比 JVM 堆大得多(比如 64GB 机器,JVM 堆 6GB,剩下 50+ GB 都可以做 Page Cache) > - 进程重启缓存不丢:JVM 堆在进程重启后清空,但 Page Cache 属于 OS,Kafka 重启后热数据还在缓存里,不需要重新从磁盘加载 > > **2. fsync() 和 fdatasync() 的区别** > > | | fsync() | fdatasync() | > |--|---------|-------------| > | 刷数据 | ✓ | ✓ | > | 刷元数据(文件大小) | ✓ | ✓(大小变了才刷) | > | 刷元数据(修改时间、权限等) | ✓ | ✗(不刷) | > | 磁盘写入次数 | 2 次(数据 + 元数据) | 通常 1 次(只刷数据) | > | 性能 | 较慢 | 较快 | > > 什么时候用哪个: > - `fdatasync`:大多数场景。MySQL InnoDB 的 redo log 默认用 fdatasync(`innodb_flush_method=O_DSYNC`),日志文件是追加写入,大小变化不频繁,不需要每次都刷修改时间 > - `fsync`:需要保证文件元数据完整的场景,比如新创建文件后要确保目录项也落盘(防止断电后文件"消失") --- 上一篇:[02 - 文件系统](./02-filesystem.md) | 下一篇:[04 - I/O 模型详解](./04-io-models.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入