知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 07 - 网络 I/O 架构 ## 网络数据包的收发流程 ### 接收流程  *图:网卡收包从 Ring Buffer 到用户缓冲区的 8 步* ``` 网卡收到数据包 │ ▼ ① DMA 将数据拷贝到内核的 Ring Buffer(环形缓冲区) │ ▼ ② 网卡触发硬中断通知 CPU │ ▼ ③ CPU 响应中断,调度软中断(NAPI) │ ▼ ④ 软中断处理:从 Ring Buffer 取出数据包 │ ▼ ⑤ 协议栈处理: 网络层(IP)→ 解析 IP 头,路由判断 传输层(TCP)→ 解析 TCP 头,找到对应的 Socket │ ▼ ⑥ 数据放入 Socket 接收缓冲区(sk_buff) │ ▼ ⑦ 唤醒阻塞在 recv()/epoll_wait() 上的进程 │ ▼ ⑧ 进程调用 recv(),数据从内核缓冲区拷贝到用户缓冲区 ``` ### 发送流程  *图:send 发包经过协议栈各层并交给网卡的 6 步* ``` 进程调用 send(fd, data, len) │ ▼ ① 数据从用户缓冲区拷贝到 Socket 发送缓冲区 │ ▼ ② 传输层(TCP):分段、添加 TCP 头、计算校验和 │ ▼ ③ 网络层(IP):添加 IP 头、路由查找 │ ▼ ④ 数据链路层:添加 MAC 头、放入发送队列 │ ▼ ⑤ 网卡驱动:DMA 从发送队列读取数据发送 │ ▼ ⑥ 发送完成,触发中断释放 sk_buff ``` ## Socket 缓冲区  *图:TCP Socket 发送缓冲区与接收缓冲区的参数* ``` ┌─────────────────────────────────────────┐ │ TCP Socket │ │ │ │ ┌───────────────────────────────────┐ │ │ │ 发送缓冲区(Send Buffer) │ │ │ │ │ │ │ │ 应用 write() → 数据暂存于此 │ │ │ │ TCP 协议栈从这里取数据发送 │ │ │ │ │ │ │ │ 大小:net.core.wmem_default │ │ │ │ 最大:net.core.wmem_max │ │ │ └───────────────────────────────────┘ │ │ │ │ ┌───────────────────────────────────┐ │ │ │ 接收缓冲区(Recv Buffer) │ │ │ │ │ │ │ │ 网卡收到的数据暂存于此 │ │ │ │ 应用 read() 从这里取数据 │ │ │ │ │ │ │ │ 大小:net.core.rmem_default │ │ │ │ 最大:net.core.rmem_max │ │ │ └───────────────────────────────────┘ │ └─────────────────────────────────────────┘ ``` ```bash # 查看 Socket 缓冲区大小 sysctl net.core.rmem_default # 接收缓冲区默认值 sysctl net.core.rmem_max # 接收缓冲区最大值 sysctl net.core.wmem_default # 发送缓冲区默认值 sysctl net.core.wmem_max # 发送缓冲区最大值 # TCP 自动调优的缓冲区范围(min, default, max) sysctl net.ipv4.tcp_rmem # 4096 131072 6291456 sysctl net.ipv4.tcp_wmem # 4096 16384 4194304 # 优化建议(高吞吐场景) sysctl -w net.core.rmem_max=16777216 sysctl -w net.core.wmem_max=16777216 sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216" sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216" ``` ## 网络 I/O 编程模型 ### 模型一:BIO(一连接一线程)  *图:一连接一线程时 1000 连接带来的线程开销* ``` ┌──────────┐ │ Client │──→ ┌──────────┐ └──────────┘ │ Thread 1 │ 阻塞在 read() └──────────┘ ┌──────────┐ │ Client │──→ ┌──────────┐ └──────────┘ │ Thread 2 │ 阻塞在 read() └──────────┘ ┌──────────┐ │ Client │──→ ┌──────────┐ └──────────┘ │ Thread 3 │ 阻塞在 read() └──────────┘ 问题: 1000 个连接 = 1000 个线程 线程创建/切换开销大 大部分线程在阻塞等待,浪费资源 ``` ### 模型二:NIO + Reactor(单线程)  *图:单 Reactor 单线程用一个线程处理所有连接* ``` ┌──────────┐ │ Client │──┐ └──────────┘ │ ┌──────────┐ │ ┌─────────────────────────┐ │ Client │──┼───→│ Reactor 线程 │ └──────────┘ │ │ │ ┌──────────┐ │ │ epoll_wait() 监听所有fd │ │ Client │──┘ │ 有事件 → 分发处理 │ └──────────┘ └─────────────────────────┘ 一个线程处理所有连接 Redis 6.0 之前就是这个模型 适合 I/O 密集但计算简单的场景 ``` ### 模型三:主从 Reactor(多线程)  *图:主从 Reactor 中 Main 接受连接、Sub 处理 I/O* ``` ┌─────────────────────┐ │ Main Reactor │ │ (Acceptor 线程) │ │ 只负责接受新连接 │ └──────────┬──────────┘ │ 分发连接 ┌────────────────┼────────────────┐ ▼ ▼ ▼ ┌─────────────────┐ ┌──────────────┐ ┌──────────────┐ │ Sub Reactor 1 │ │ Sub Reactor 2│ │ Sub Reactor 3│ │ (I/O 线程) │ │ (I/O 线程) │ │ (I/O 线程) │ │ epoll 监听 │ │ epoll 监听 │ │ epoll 监听 │ │ 读写事件 │ │ 读写事件 │ │ 读写事件 │ └─────────────────┘ └──────────────┘ └──────────────┘ Netty、Nginx 使用的模型 Main Reactor 接受连接,Sub Reactor 处理 I/O 充分利用多核 CPU ``` ### 模型四:Proactor(异步 I/O)  *图:Proactor 完成事件分发与 Reactor 的差别* ``` ┌─────────────────────┐ │ Proactor │ │ (事件分发器) │ └──────────┬──────────┘ │ ┌────────────────┼────────────────┐ ▼ ▼ ▼ ┌─────────────────┐ ┌──────────────┐ ┌──────────────┐ │ Handler 1 │ │ Handler 2 │ │ Handler 3 │ │ 处理完成事件 │ │ 处理完成事件 │ │ 处理完成事件 │ └─────────────────┘ └──────────────┘ └──────────────┘ Reactor:I/O 就绪时通知应用,应用自己读写 Proactor:I/O 完成时通知应用,OS 已经完成了读写 Windows IOCP 是真正的 Proactor Linux 的 io_uring 可以实现 Proactor 模式 ``` ### Reactor vs Proactor ``` Reactor(同步非阻塞): 1. 注册事件(可读/可写) 2. epoll_wait 等待事件就绪 3. 事件就绪后,应用自己调用 read/write 4. 数据拷贝阶段应用线程阻塞 Proactor(异步): 1. 发起异步 I/O 操作 2. OS 在后台完成 I/O(包括数据拷贝) 3. I/O 完成后通知应用 4. 应用直接处理已就绪的数据 ``` ## 高并发网络优化 ### 连接数优化 ```bash # 最大文件描述符数 ulimit -n 1000000 # /etc/security/limits.conf # * soft nofile 1000000 # * hard nofile 1000000 # 系统级文件描述符限制 sysctl -w fs.file-max=2000000 # 本地端口范围(客户端连接数限制) sysctl -w net.ipv4.ip_local_port_range="1024 65535" # TIME_WAIT 优化 sysctl -w net.ipv4.tcp_tw_reuse=1 # 允许复用 TIME_WAIT sysctl -w net.ipv4.tcp_max_tw_buckets=5000 # TIME_WAIT 最大数量 # 连接队列 sysctl -w net.core.somaxconn=65535 # listen backlog 最大值 sysctl -w net.ipv4.tcp_max_syn_backlog=65535 # SYN 队列最大值 ``` ### 网卡多队列 ```bash # 查看网卡队列数 ethtool -l eth0 # 设置队列数(等于 CPU 核数) ethtool -L eth0 combined 8 # 查看中断亲和性 cat /proc/interrupts | grep eth0 # 设置中断亲和性(将不同队列的中断绑定到不同 CPU) # 或使用 irqbalance 自动均衡 ``` ### TCP 参数优化 ```bash # 开启 TCP Fast Open sysctl -w net.ipv4.tcp_fastopen=3 # TCP keepalive sysctl -w net.ipv4.tcp_keepalive_time=600 sysctl -w net.ipv4.tcp_keepalive_intvl=30 sysctl -w net.ipv4.tcp_keepalive_probes=3 # 拥塞控制算法 sysctl -w net.ipv4.tcp_congestion_control=bbr # Google BBR # 开启 TCP 窗口缩放 sysctl -w net.ipv4.tcp_window_scaling=1 ``` ## C10K / C10M 问题 ``` C10K(1 万并发连接): 解决方案:epoll + 非阻塞 I/O + Reactor 模式 代表:Nginx、Redis、Node.js C100K(10 万并发连接): 在 C10K 基础上优化: - 多核利用(多 Reactor 线程) - 连接管理优化 - 内存池、对象池 C1M(100 万并发连接): 需要更深层的优化: - 内核旁路(Kernel Bypass) - DPDK(Data Plane Development Kit) - 用户态协议栈 C10M(1000 万并发连接): 完全绕过内核: - DPDK + 用户态 TCP 栈 - RDMA(Remote Direct Memory Access) - 专用硬件 ``` ## 本章小结 - 网络数据包经过网卡 → DMA → 中断 → 协议栈 → Socket 缓冲区 → 应用 - Reactor 模式是高并发网络编程的主流方案 - 主从 Reactor 模式被 Netty、Nginx 等广泛采用 - 高并发优化需要从应用层到内核层全链路考虑 - C10K 用 epoll 解决,C10M 需要内核旁路技术 ## 思考题 1. 为什么 Redis 单线程也能达到很高的 QPS? 2. Nginx 的 worker 进程数为什么建议设置为 CPU 核数? --- 上一篇:[06 - 磁盘 I/O 调度与优化](./06-disk-scheduling.md) | 下一篇:[08 - I/O 性能分析与调优](./08-performance-tuning.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入