知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 07 - 主从复制与高可用 ## 为什么 MySQL 主从复制基于 binlog ``` 主从复制的本质是: 把主库上“已经提交的事务变更”可靠地传给从库,再让从库按顺序重放。 ``` ``` 之所以依赖 binlog,而不是 redo log,原因有三个: 1. binlog 是 Server 层日志 不绑定某一个存储引擎,适合做跨实例复制 2. binlog 记录的是事务级别的逻辑变更 适合在另一台机器上重新执行 3. redo log 是 **InnoDB 引擎**层物理日志 主要用于崩溃恢复,不适合直接作为复制协议 ``` ## 主从复制不是“一上来就自动全量同步” ``` 很多人容易把 MySQL 主从复制理解成: 从库一连上主库,就自动把整库数据完整拷过去。 更准确地说,主从复制通常分两段: 1. 初始数据同步 先把某个时间点的全量数据准备给从库 2. 持续增量同步 再从那个时间点开始,不断同步后续 binlog ``` ### 初始同步常见做法 ``` 1. mysqldump 逻辑备份 简单,但大库慢 2. xtrabackup / clone / 物理备份 更适合大库 3. 云数据库内置创建只读副本 平台帮你完成快照 + 增量追平 ``` ``` 重点不是“怎么拷第一份数据”, 而是“拷完以后,从哪个 binlog 位点或 GTID 开始继续追”。 ``` ## 基于 file / position 的复制流程 ### 核心角色 ``` 主库: 1. 业务线程提交事务,写入 binlog 2. binlog dump 线程负责把 binlog 发给从库 从库: 1. I/O 线程连接主库,拉取 binlog 2. I/O 线程把收到的内容写入 relay log 3. SQL 线程(或多个 worker)读取 relay log 并回放 ``` ### 持续复制完整链路  *图:主从复制三线程与并行复制回放* ``` 主从复制完整架构: 主库(Master) 从库(Slave) ┌──────────────────┐ ┌──────────────────┐ │ │ │ │ │ 业务线程 │ │ I/O 线程 │ │ ↓ │ │ ↑ │ │ 写 binlog │ │ │ 拉取 binlog │ │ (二进制日志) │←─────────────────→│ │ │ │ │ binlog dump thread│ │ │ │ │ 通过 TCP 传输 │ ↓ │ │ │ │ 写 relay log │ │ │ │ (中继日志) │ │ │ │ ↓ │ │ │ │ SQL 线程 │ │ │ │ 回放 relay log │ │ │ │ ↓ │ │ │ │ 数据写入从库 │ └──────────────────┘ └──────────────────┘ 三线程模式(关键角色): 主库 binlog dump 线程:负责将 binlog 发给从库(被动推送,响应从库请求) 从库 I/O 线程:连接主库,拉取 binlog,写入 relay log 从库 SQL 线程:读取 relay log,在从库上执行(回放) 为什么是从库"拉"而不是主库"推"? 因为复制进度是从库自己维护的 从库知道自己同步到哪个位置(file + position 或 GTID) 主库只需根据请求返回后续内容 好处:从库断线重连后容易续传 并行复制(MySQL 5.7+ MTS): 从库可以有多个 SQL 线程(worker)并行回放 slave_parallel_workers = 4 ← 4 个并行回放线程 显著降低主从延迟 ``` 1. 主库事务提交 事务先完成两阶段提交,binlog 落地 2. 主库 binlog dump 线程感知到有新 binlog 它不会“主动乱推”,而是响应从库拉取请求 3. 从库 I/O 线程拉取指定位置之后的 binlog 这里的“指定位置”就是 file + position 4. 从库把收到的内容写入 relay log relay log 可以理解成“从库本地暂存的复制日志” 5. 从库 SQL 线程读取 relay log 并执行 执行成功后,从库数据逐步追上主库 ```  [编辑 Excalidraw 源图](/images/excalidraw/07-replication-high-availability-replication-three-threads-diagram.excalidraw) ### 为什么说复制更像“从库拉”,不是“主库推” ``` 因为复制进度是从库自己维护的。 从库知道自己已经同步到哪个文件、哪个位置, 主库只是根据从库请求,把后续内容发出来。 这种模式的好处是: 1. 从库能自己控制恢复进度 2. 主库不需要为每个从库维护复杂的推送状态机 3. 从库断线重连后更容易续传 ``` ## relay log 是什么,有什么用 ``` relay log 是从库本地日志, 专门用于缓存从主库拉来的 binlog 内容。 ``` ``` 它的作用是把“网络传输”和“本地回放”这两件事解耦: 1. I/O 线程负责尽量把主库 binlog 拉下来 2. SQL 线程按自己的节奏慢慢回放 ``` ``` 所以主从延迟很多时候不是“没拉到”, 而是“已经拉到了 relay log,但还没回放完”。 ``` ## 异步复制、半同步复制、全同步复制 ### 异步复制 ``` 主库事务提交后,立刻返回成功给客户端, 不等待从库确认。 ``` ``` 优点: 1. 性能最好 2. 提交延迟最低 缺点: 1. 如果主库刚提交完就宕机 2. 而从库还没来得及收到这段 binlog 3. 那么切主后就可能丢最近一小段数据 ``` ### 半同步复制 ``` 主库事务提交后, 至少等待一个从库确认"我已经收到并写入 relay log"再返回。 ``` ``` 优点: 1. 一致性保障更强 2. 高可用切换时更不容易丢最近提交的数据 注意: 这里等到的是"收到复制日志", 不等于"已经在从库执行完成"。 ``` 异步复制 vs 半同步复制对比: ``` 异步复制: 主库 从库 ───────────────────────────────────── 事务提交 → binlog 写入 返回客户端 "OK" ← 还没同步! (主库不等待从库确认) 稍后异步拉取 binlog (可能丢数据:主库宕机时从库还没收到) 半同步复制(after_sync): 主库 从库 ───────────────────────────────────── 事务提交 → binlog 写入 等待从库 ACK... ←────── 从库收到 binlog → 写入 relay log → ACK 收到 ACK → 返回客户端 "OK" (保证至少一个从库收到了 binlog,切换时不丢数据) 关键区别: 异步复制 半同步复制 ┌─────────────────────────────────────────────────────────────┐ │ 数据安全 可能丢失最近提交 至少 1 个从库确认收到, │ │ 的数据 切换时更安全 │ │ │ │ 提交延迟 低(微秒级) 略高(等 ACK,通常 1ms 内) │ │ │ │ 适用场景 对性能要求极高, 对数据安全性要求较高, │ │ 允许少量数据丢失 金融、订单等 │ │ │ │ 降级策略 无 如果从库 ACK 超时 │ │ 可自动退化为异步复制 │ └─────────────────────────────────────────────────────────────┘ ``` ### 全同步复制 ``` 主库要等所有从库都确认后才返回。 ``` ``` 一致性最强,但性能最差。 实际线上极少直接采用这种方式。 ```  [编辑 Excalidraw 源图](/images/excalidraw/07-replication-high-availability-async-semisync-diagram.excalidraw) ## GTID 是什么 ``` GTID(Global Transaction Identifier)是全局事务 ID。 每个已提交事务都会有一个唯一标识: server_uuid:transaction_id ``` ``` 例如: 3E11FA47-71CA-11E1-9E33-C80AA9429562:23 表示某个 server_uuid 上提交的第 23 个事务。 ``` ## GTID 和 file / position 的区别 ``` file / position 的思路是: “我同步到了 mysql-bin.000123 的 45678 位置” GTID 的思路是: “这些事务我已经执行过了,其余没执行过的继续给我” ``` | 维度 | file / position | GTID | | --- | --- | --- | | 同步依据 | binlog 文件名 + 位点 | 全局事务 ID | | 运维方式 | 需要对位点 | 直接按事务去重 | | 切主复杂度 | 更高 | 更低 | | 自动化友好度 | 一般 | 更强 | ### GTID 为什么更适合高可用 ``` 因为高可用切换最怕“选了一个从库做新主,但它到底差了哪一截不清楚”。 GTID 把问题从: “你同步到了哪个位置?” 变成: “你已经执行过哪些事务?” 这让主从切换、故障恢复、补数据都更容易自动化。 ``` ## 主从延迟到底发生在哪 ``` 主从延迟不是一个抽象现象, 而是可能卡在复制链路的不同位置: 1. 主库 binlog 产出慢 2. 主从网络传输慢 3. 从库 I/O 线程拉取慢 4. 从库 SQL 线程回放慢 ``` ### 最常见的是哪一种 ``` 最常见的是: 已经拉到 relay log 了, 但是 SQL 线程回放不过来。 ``` ``` 也就是: “传输没问题,执行跟不上”。 ```  ## 主从延迟高频原因 ``` 1. 大事务 从库回放一遍大事务本来就慢 2. 批量更新 / 批量删除 单次提交影响太多行 3. DDL 改表操作可能重建表、长时间持锁、拖慢复制 4. 从库机器更差 CPU、磁盘、IOPS 都比主库弱 5. 单线程回放瓶颈 老版本或配置不佳时尤为明显 6. 跨机房网络抖动 会影响 binlog 拉取速度 ``` ## 主从延迟怎么排查 ### 第一步:判断是“拉取慢”还是“回放慢” ``` 关注两个核心方向: 1. I/O 线程是否正常 2. SQL 线程是否正常 ``` ``` 如果 I/O 线程慢: 更偏向网络、主库发送、连接层问题 如果 SQL 线程慢: 更偏向大事务、锁冲突、从库性能、回放能力问题 ``` ### 第二步:看常见指标 ```sql SHOW SLAVE STATUS\G -- 或 MySQL 8.0 中的 SHOW REPLICA STATUS\G ``` ``` 重点看: 1. Seconds_Behind_Master 2. Slave_IO_Running / Slave_SQL_Running 3. Relay_Log_Space 4. Read_Master_Log_Pos 5. Exec_Master_Log_Pos ``` ### 第三步:结合现象做判断 ``` 1. Relay_Log_Space 持续变大 说明拉得比回放快,SQL 线程是瓶颈 2. I/O 线程不稳定 先看网络、主库负载、连接异常 3. 延迟突然在某个时间点飙高 常常对应某个大事务、DDL、批量任务 ```  [编辑 Excalidraw 源图](/images/excalidraw/07-replication-high-availability-replication-lag-troubleshooting-diagram.excalidraw) ## 为什么大事务特别容易拖垮复制 ``` 因为主从复制最终是“主库做过什么,从库再做一遍”。 大事务的问题有三个: 1. 单次回放时间长 2. 执行期间更容易长期持锁 3. 会把后续 relay log 一起堵住 ``` ``` 所以控制事务大小, 不仅是为了主库性能, 也是为了降低主从延迟。 ``` ## 并行复制是怎么演进的 ### MySQL 5.6:基于库级别并行 ``` 不同库之间可以并行回放。 问题: 如果业务几乎都在一个库里, 这个优化价值就很有限。 ``` ### MySQL 5.7:基于组提交并行 ``` 如果多个事务在主库上属于同一批组提交, 那通常说明它们在锁冲突上更容易被判定为可并行。 于是从库可以让这些事务并行回放, 比“一个一个串行执行”快得多。 ``` ### MySQL 8.0:基于 WriteSet 并行 ``` WriteSet 的思路是: 根据事务修改过哪些主键 / 唯一键,判断事务之间是否冲突。 只要能证明两个事务修改的记录集合不冲突, 从库就可以并行回放。 ``` ``` 相比单纯依赖组提交, WriteSet 更进一步, 因为它不完全依赖主库的提交并发形态。 ```  [编辑 Excalidraw 源图](/images/excalidraw/07-replication-high-availability-parallel-replication-diagram.excalidraw) ## 高可用真正关心的是什么 ``` 高可用不是简单的“主挂了换个从顶上去”。 真正关键的是: 1. 新主的数据是不是足够新 2. 切换过程会不会脑裂 3. 客户端怎么快速切到新主 4. 旧主恢复后怎么安全回收 ``` ## 一个典型的故障切换流程 ``` 1. 监控发现主库不可用 2. 选择最健康、最接近主库的从库 3. 确认它已尽量追平 4. 提升它为新主 5. 其他从库改挂到新主 6. 应用侧刷新写流量目标 7. 旧主恢复后,作为从库重新加入 ``` ### 为什么“选哪个从库升主”很重要 ``` 因为如果你把一个明显落后的从库升成主库, 就等于把最近那段尚未复制到它的数据直接丢掉了。 所以高可用系统最怕的不是“切不了”, 而是“切错了”。 ```  [编辑 Excalidraw 源图](/images/excalidraw/07-replication-high-availability-failover-flow-diagram.excalidraw) ## 脑裂是什么 ``` 脑裂指的是: 同一时刻系统里误以为存在两个“可写主库”。 ``` ``` 这会导致: 1. 数据双写分叉 2. 后续很难自动合并 3. 最终必须人工定夺保留哪一边 ``` ``` 所以高可用切换的核心原则之一是: 宁可短暂不可写,也不要轻易出现双主同时对外写。 ``` ## CAP 视角下怎么看 MySQL ``` 如果只有单主对外写, 而从库只是备份和容灾, 那更接近“优先保证一致性”的单主系统。 ``` ``` 如果做读写分离, 应用同时从从库读数据, 那一旦存在主从延迟, 读请求就可能读到旧数据。 这时它在读路径上更偏向“可用性优先”, 而不是强一致。 ``` ``` 所以面试里不要简单机械地说 MySQL 一定是 AP 或 CP, 而要先说清楚具体部署形态和访问方式。 ``` ## 面试常见问题 **Q:主从复制里,主库是推给从库,还是从库拉主库?** A:更准确地说是从库拉。主库上的 binlog dump 线程负责响应请求并发送日志,但复制进度由从库维护,从库会告诉主库自己要从哪个位点或哪些 GTID 之后继续同步。 **Q:半同步复制是不是就绝对不丢数据了?** A:不能这么说。半同步只是把“至少一个从库已经收到日志”的保障前移了,显著降低了丢最近数据的概率,但是否绝对不丢,还和刷盘策略、故障时机、从库状态等因素有关。 **Q:为什么 relay log 不能省掉?** A:因为 relay log 把“网络拉取”和“本地回放”解耦了。I/O 线程可以尽量先把主库日志拉下来,SQL 线程按自己的节奏慢慢执行,这也是主从延迟分析里区分“拉取慢”和“回放慢”的基础。 **Q:GTID 比 file / position 的核心优势是什么?** A:GTID 让复制从“按文件位点续传”变成“按事务集合去重”,主从切换、故障恢复和自动化运维都更友好,不容易因为人工对错位点而出问题。 **Q:为什么大事务会导致主从延迟?** A:因为从库也要完整执行一遍这个事务。事务越大,回放时间越长,持锁时间越久,还会堵住后续 relay log 的执行,所以经常是一条大事务拖慢整条复制链路。 **Q:并行复制是不是就能彻底解决主从延迟?** A:不能。并行复制只能让“不冲突”的事务并行执行,如果延迟来自超大单事务、DDL、磁盘瓶颈或跨机房网络问题,并行复制也不能从根上消掉这些瓶颈。 --- 上一篇:[06 - SQL 优化与执行计划](./06-sql-optimization.md) | 下一篇:[08 - DDL、表设计与字符集](./08-ddl-table-design.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入