知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 01 - 分布式系统概述 ## 什么是分布式系统 分布式系统是由**多台通过网络互连的计算机**组成的系统,这些计算机协同工作,对外表现为一个统一的整体。 > A distributed system is a collection of independent computers that appears to its users as a single coherent system. > — Andrew S. Tanenbaum ### 核心特征  > 💬 **Q:什么是全局时钟?举例说明** > > 全局时钟 = 所有节点共享的、完全一致的时间。单机程序里所有线程用同一个 `System.currentTimeMillis()`,天然有全局时钟。但分布式系统中每台机器有自己的物理时钟,它们之间存在偏差(时钟漂移),所以不存在全局时钟。 > > ``` > 场景:两个用户同时修改文档标题,用"最后写入胜出"策略 > > Node A(北京机房)时钟:10:00:00.000 > 用户甲写入:title = "方案A",时间戳 10:00:00.000 > > Node B(上海机房)时钟:10:00:00.003(比 A 快了 3ms) > 用户乙写入:title = "方案B",时间戳 10:00:00.003 > > 实际上甲比乙晚了 1ms 操作(甲应该胜出) > 但 B 的时钟快了 3ms → 系统认为乙的时间戳更大 → 乙胜出 → 结果错了! > ``` > > 这就是没有全局时钟带来的问题:不能用物理时间戳判断事件先后。 > > 解决方案: > - Lamport Clock(逻辑时钟):用递增计数器确定因果顺序 > - Vector Clock(向量时钟):每个节点维护一个向量,能判断并发冲突 > - HLC(混合逻辑时钟):物理时钟 + 逻辑计数器的结合 > - Google TrueTime:GPS + 原子钟,把时钟误差控制在 ~7ms 内(Spanner 用的方案) ## 为什么需要分布式系统 | 驱动因素 | 说明 | 示例 | |----------|------|------| | **可扩展性** | 单机性能有上限,需要水平扩展 | 双11 峰值流量,单机无法承载 | | **高可用性** | 消除单点故障,7×24 小时服务 | 银行系统不能停机 | | **地理分布** | 用户分布在全球各地 | CDN、跨国企业系统 | | **成本效益** | 多台普通机器比单台超级计算机便宜 | 谷歌用廉价 PC 集群替代大型机 | | **资源共享** | 共享计算、存储、数据资源 | 云计算平台 | ## 分布式系统的核心特性 ### 1. 可扩展性(Scalability) 系统能够通过增加资源来应对负载增长。  ### 2. 可用性(Availability) 系统在任意时刻都能正常提供服务的能力。  ### 3. 容错性(Fault Tolerance) 系统在部分组件失效时仍能继续工作。 ```java // 容错设计示例:重试机制 public <T> T executeWithRetry(Supplier<T> operation, int maxRetries) { int attempts = 0; while (attempts < maxRetries) { try { return operation.get(); } catch (Exception e) { attempts++; if (attempts >= maxRetries) { throw new RuntimeException("Max retries exceeded", e); } // 指数退避 Thread.sleep((long) Math.pow(2, attempts) * 100); } } throw new RuntimeException("Should not reach here"); } ``` ### 4. 透明性(Transparency) 对用户隐藏系统的分布式特性。 | 透明性类型 | 含义 | |-----------|------| | 访问透明 | 本地和远程资源使用相同方式访问 | | 位置透明 | 用户不需要知道资源的物理位置 | | 迁移透明 | 资源可以移动而不影响访问方式 | | 复制透明 | 用户不知道资源有多个副本 | | 故障透明 | 隐藏部分组件的故障和恢复 | ## 分布式系统的挑战 ### 1. 网络问题  *图:网络分区示意与网络带来的五类问题* ``` 网络分区(Network Partition) ┌─────────┐ ┌─────────┐ │ Node A │ ╳ ─ ─ ─ ─ ─ ╳ │ Node C │ │ Node B │ 网络断开 │ Node D │ └─────────┘ └─────────┘ 分区 1 分区 2 问题: - 网络延迟:消息传递需要时间 - 网络分区:节点间无法通信 - 消息丢失:数据包可能丢失 - 消息乱序:先发的消息可能后到 - 消息重复:同一消息可能收到多次 ```  ### 2. 时钟同步 分布式系统中没有全局统一的时钟。 ``` Node A 时钟: 10:00:00.000 Node B 时钟: 10:00:00.150 ← 快 150ms Node C 时钟: 09:59:59.800 ← 慢 200ms 问题: - 事件顺序难以确定 - 因果关系难以保证 - 分布式锁的超时不精确 解决方案: - NTP 时钟同步 - 逻辑时钟(Lamport Clock) - 向量时钟(Vector Clock) - 混合逻辑时钟(HLC) ``` > 💬 **Q:不能选一台机器的时钟作为全局时钟吗?** > > 理论上你可以让大家“参考”某一台机器的时间,但它**不能真正成为可靠的全局时钟**,原因有四个: > > 1. **单点故障**:这台机器宕机、重启或时钟漂移,整个系统都会受影响。 > 2. **网络延迟不可预测**:节点拿到“中心时钟”的时间时,消息已经在网络里飞了一段时间,收到时就不是那个时刻了。 > 3. **无法覆盖本地事件**:很多事件在节点本地就发生了,不可能每次都先远程问一次“现在几点”。 > 4. **仍然不能精确判断先后**:即使大家都定期向同一台机器校时,也只能做到“尽量接近”,做不到绝对一致。 > > 所以工程上通常不是“找一个完美全局时钟”,而是按场景选择: > - 需要**尽量接近真实时间**:用 NTP > - 需要**判断因果顺序**:用 Lamport Clock > - 需要**识别并发冲突**:用 Vector Clock > - 需要**兼顾物理时间和因果顺序**:用 HLC ### 时钟同步方案详解 #### 方案 1:NTP 时钟同步 NTP(Network Time Protocol)是最常见的物理时钟同步方案,它的目标不是让所有机器时间“完全一样”,而是让误差尽量小。 **基本原理:**  *图:NTP 时间同步与时钟偏移估算过程* ``` Node A ──请求时间──→ NTP Server Node A ←─返回时间─── NTP Server Node A 结合: - 请求发送时间 t1 - 服务端接收时间 t2 - 服务端返回时间 t3 - 客户端接收时间 t4 估算: - 网络往返延迟 delay - 本地时钟偏移 offset ``` NTP 会通过多次采样、过滤异常值、估算往返延迟和偏移量,让本地时钟逐步向标准时间靠拢。 **常见同步方式:** - `step`:发现误差很大时,直接把时钟“跳”过去 - `slew`:发现误差较小时,缓慢加快或减慢本地时钟,让时间平滑追上 **优点:** - 简单通用,几乎所有机器都支持 - 能让集群时间误差控制在毫秒级到几十毫秒级 - 适合日志、监控、超时控制、任务调度等场景 **缺点:** - 不能保证严格全局一致 - 网络抖动会影响同步精度 - 如果直接 step 校时,可能发生时钟回拨 **适用场景:** - 日志时间排序 - 分布式任务调度 - 过期时间、超时控制 - 对真实物理时间敏感,但不要求严格因果顺序的系统 #### 方案 2:逻辑时钟(Lamport Clock) Lamport Clock 不追求“现在几点”,而是解决“谁先谁后”的问题。它是一个单调递增的逻辑计数器,用来表示事件的因果顺序。 **核心规则:** 1. 每个节点维护一个本地计数器 `L` 2. 本地每发生一个事件:`L = L + 1` 3. 发送消息时,带上当前 `L` 4. 接收消息时:`L = max(本地L, 消息中的L) + 1` **示例:** ``` 初始: Node A: L=0 Node B: L=0 1. A 本地执行一个事件 A: L=1 2. A 给 B 发消息,携带 L=1 3. B 收到消息 B: L=max(0,1)+1=2 结论: - A 的发送事件发生在 B 的接收事件之前 - 即使两台机器物理时间不准,顺序仍然成立 ``` **优点:** - 实现简单,开销很小 - 能判断“因果先后” - 不依赖物理时钟准确性 **缺点:** - 不能判断两个事件是否真正并发 - 只要计数值小,不代表物理时间更早 - 如果 `a < b`,只能说明排序结果,不代表真实墙上时间更早 **适用场景:** - 分布式消息排序 - 事件先后关系判断 - 分布式算法中的因果约束 #### 方案 3:向量时钟(Vector Clock) Vector Clock 是 Lamport Clock 的增强版。它不只想知道“谁更早”,还想知道“两个事件是不是并发发生的”。 **基本思想:** 如果系统里有 `N` 个节点,每个节点维护一个长度为 `N` 的向量。 比如 3 个节点 A/B/C: ``` A 的时钟:[1,0,0] B 的时钟:[0,2,0] C 的时钟:[0,0,5] ``` 向量中第 `i` 个位置表示“我所知道的第 i 个节点已经推进到了哪里”。 **核心规则:** 1. 本地事件发生时,自己的位置加 1 2. 发消息时,带上整个向量 3. 收消息时,对每一位取 `max`,然后本节点自己的位置再加 1 **示例:** ``` 初始: A=[0,0] B=[0,0] 1. A 本地写入 x A=[1,0] 2. B 本地写入 y B=[0,1] 此时: - A 和 B 互相不知道对方的更新 - [1,0] 和 [0,1] 无法比较大小 - 说明这两个事件是并发的 3. A 把消息发给 B B 合并后: B=max([0,1],[1,0])=[1,1] 然后 B 自己再加一位: B=[1,2] ``` **比较规则:** - 如果向量 `V1` 每一位都 `<= V2`,且至少一位 `<`,则 `V1 happens-before V2` - 如果 `V1` 和 `V2` 有的位大、有的位小,则两者并发 **优点:** - 能判断因果关系 - 能识别并发冲突 - 比 Lamport Clock 表达能力更强 **缺点:** - 向量长度随节点数增长,存储和传输开销大 - 节点动态扩缩容时维护复杂 **适用场景:** - 多主复制冲突检测 - 分布式版本控制 - 需要识别“并发更新”的系统 #### 方案 4:混合逻辑时钟(HLC) HLC(Hybrid Logical Clock)把**物理时间**和**逻辑计数器**结合起来,目标是同时兼顾: - 时间看起来接近真实世界 - 又能在时钟漂移下保持因果顺序 **一个 HLC 时间戳通常长这样:** ``` (physical_time, logical_counter) 例如: (1710000000000, 0) (1710000000000, 1) (1710000000001, 0) ``` 其中: - `physical_time`:本地物理时间,通常是毫秒 - `logical_counter`:当物理时间相同或发生回拨时,用来补足顺序 **核心思路:** 1. 本地事件优先使用当前物理时间 2. 如果发现物理时间没有前进,逻辑计数器递增 3. 收到远端时间戳时,取“本地物理时间、远端物理时间、已有 HLC 时间”三者中的最大值 4. 若最大值相同,则通过逻辑计数器继续区分顺序 **示例:** ``` Node A 当前 HLC = (100,0) Node B 当前 HLC = (98,0) 1. A 发消息给 B,带上 (100,0) 2. B 收到时,本地物理时钟还是 99 3. B 取最大物理时间 max(99,100)=100 4. B 更新为 (100,1) 效果: - B 即使本地物理时间落后,也不会把顺序排反 - 同时保留了“100”这个接近真实时间的值 ``` **优点:** - 时间戳接近真实物理时间 - 能较好保持因果顺序 - 开销远小于 Vector Clock - 很适合分布式数据库做 MVCC 和事务排序 **缺点:** - 实现比 Lamport 更复杂 - 仍然不是绝对真实时间 - 依然依赖基础物理时钟大致靠谱,通常会和 NTP 一起使用 **适用场景:** - 分布式数据库事务时间戳 - MVCC 版本管理 - 既要时间语义又要因果有序的系统 #### 四种方案对比 | 方案 | 解决什么问题 | 能否反映真实时间 | 能否判断因果顺序 | 能否识别并发 | 典型场景 | |------|--------------|------------------|------------------|--------------|----------| | NTP | 物理时钟尽量对齐 | 能,大致接近 | 不能保证 | 不能 | 日志、监控、调度 | | Lamport Clock | 事件先后顺序 | 不能 | 能 | 不能 | 分布式排序、消息先后 | | Vector Clock | 因果 + 并发冲突 | 不能 | 能 | 能 | 多主复制、版本冲突 | | HLC | 物理时间 + 因果顺序折中 | 能,较接近 | 能 | 部分可辅助判断,但不如 Vector 精确 | 分布式数据库、MVCC | ### 3. 数据一致性 多副本之间如何保持数据一致?  *图:复制延迟期间读取导致数据不一致* ``` 写入 x=1 到 Node A ┌─────────┐ 复制 ┌─────────┐ │ Node A │ ───────→ │ Node B │ │ x = 1 │ │ x = ? │ ← 复制延迟期间读取 └─────────┘ └─────────┘ 用户可能读到不一致的数据! ``` > 💬 **Q:分布式中如何保证数据一致性呢?** > > 没有银弹,本质是在 CAP 定理约束下做权衡。主要方案: > > | 方案 | 原理 | 代价 | 典型实现 | > |------|------|------|---------| > | 强一致性(线性一致性) | 写入需多数节点确认,读到的一定是最新值 | 延迟高、可用性低 | Raft(etcd)、Paxos(ZooKeeper) | > | 最终一致性 | 不保证立刻一致,但最终所有副本收敛 | 中间状态可能不一致 | DNS、Redis 主从、Cassandra | > | 半同步复制 | 写入等待至少一个从节点确认 | 折中方案 | MySQL 半同步、Kafka `acks=all` | > | Quorum(W+R>N) | 读写都要求多数节点参与 | 读写都有额外开销 | Cassandra、DynamoDB | > | 分布式事务 | 跨节点原子操作(2PC/TCC/Saga) | 复杂度高、性能差 | Seata、数据库 XA | > > 实际工程中最常见的选择:**最终一致性 + 补偿机制**(重试、对账、消息队列),在性能和一致性之间取得平衡。只有对一致性要求极高的场景(如金融转账)才用分布式事务或强一致方案。 > > --- > > 💬 **Q:给出这几种方案的具体示例** > > **① 强一致性 — 服务发现(etcd)** > > ``` > 场景:微服务注册中心,服务 A 下线后必须立刻对所有调用方不可见 > > 1. 服务 A 向 etcd Leader 发送注销请求 > 2. Leader 将日志复制到多数节点(3 节点集群需 2 个确认) > 3. 多数确认后 Leader 提交,返回成功 > 4. 此后任何节点读取都不会再看到服务 A > > 如果只复制到 1 个节点就返回 → Leader 挂了 → 新 Leader 可能没有这条记录 → 已下线的服务还在被调用 > ``` > > 💬 **Q:3 节点集群需 2 个确认,假设 Leader 挂了,新 Leader 刚好是没有确认的那个节点,这种情况存在吗?** > > **不会发生。** Raft 选举规则从根本上杜绝了这种情况。 > > 核心规则:候选人必须获得多数节点投票才能当选,而节点**只会投票给日志至少和自己一样新的候选人**。 > > ``` > 节点 A(原 Leader):日志 [1,2,3,4,5] ← 挂了 > 节点 B(已确认): 日志 [1,2,3,4,5] ← 有完整数据 > 节点 C(未确认): 日志 [1,2,3,4] ← 少了第 5 条 > > 选举开始(需要 2 票当选): > - C 发起选举 → 向 B 拉票 > B 发现 C 的日志比自己旧 → 拒绝投票 ✗ > C 只有自己 1 票 → 选举失败 > > - B 发起选举 → 向 C 拉票 > C 发现 B 的日志比自己新 → 同意投票 ✓ > B 获得 2 票(自己 + C)→ 当选新 Leader ✓ > ``` > > 为什么安全?因为已提交的日志一定存在于多数节点上(≥2 个),而当选需要多数票(≥2 票),这两个"多数"必然有交集。所以新 Leader 一定拥有所有已提交的日志。 > > 当选后 B 会把第 5 条日志复制给 C,集群恢复一致。这就是 Raft 的安全性保证:**已提交的日志永远不会丢失**。 > > **② 最终一致性 — 电商商品详情页(Redis 主从)** > > ``` > 场景:商家修改商品标题,用户短暂看到旧标题可以接受 > > 1. 商家更新 MySQL 主库:title = "新标题" > 2. 主库异步复制到从库(延迟 ~100ms) > 3. 同时删除 Redis 缓存 > 4. 用户 A 请求打到从库,可能还是旧标题(最终会一致) > 5. 用户 B 请求缓存未命中,从主库加载,看到新标题 > > 不需要强一致,换来的是高可用和低延迟 > ``` > > **③ 半同步复制 — MySQL 主从切换** > > ``` > 场景:订单写入后主库宕机,要保证数据不丢 > > 1. 客户端写入主库:INSERT INTO orders ... > 2. 主库写 binlog,发送给从库 > 3. 至少 1 个从库确认收到 binlog → 主库才返回客户端"成功" > 4. 主库宕机 → 从库有完整数据 → 切换为新主库 > > 对比异步复制:主库写完就返回,从库还没收到 binlog 主库就挂了 → 数据丢失 > ``` > > **④ Quorum — 购物车服务(Cassandra)** > > ``` > 场景:3 节点集群,配置 W=2, R=2 > > 写入:用户添加商品到购物车 > → 写入 Node1 ✓, Node2 ✓, Node3 ✗(网络抖动) > → W=2 满足,返回成功 > > 读取:用户查看购物车 > → 读 Node1(最新数据), Node3(旧数据) > → R=2 满足,取时间戳最新的那份返回 > → W+R=4 > N=3,保证至少有 1 个节点同时参与了读和写 > ``` > > **⑤ 分布式事务(TCC)— 下单扣库存** > > ``` > 场景:订单服务 + 库存服务,要么都成功要么都回滚 > > Try 阶段: > 订单服务:创建订单(状态=待确认) > 库存服务:冻结库存(stock-1, frozen+1) > > Confirm 阶段(全部 Try 成功): > 订单服务:订单状态 → 已确认 > 库存服务:释放冻结(frozen-1) > > Cancel 阶段(任一 Try 失败): > 订单服务:删除订单 > 库存服务:解冻库存(frozen-1, stock+1) > > 关键:每个服务都要实现 Try/Confirm/Cancel 三个接口,复杂度高 > ``` ### 4. 部分失败 部分节点可能失败,而其他节点正常运行。 ```java // 部分失败的困境 try { // 调用远程服务 Response response = remoteService.call(); } catch (TimeoutException e) { // 超时了,但是... // 1. 请求是否发送成功? // 2. 服务端是否执行了? // 3. 响应是否在网络中丢失? // 无法确定! } ``` ## 典型分布式系统架构 ### 客户端-服务器架构  *图:多个客户端请求同一 Server 的结构* ``` ┌────────┐ ┌────────┐ ┌────────┐ │Client 1│ │Client 2│ │Client 3│ └───┬────┘ └───┬────┘ └───┬────┘ │ │ │ └───────────┼───────────┘ │ ┌─────▼─────┐ │ Server │ └───────────┘ ``` ### 三层架构  *图:表现层、业务层、数据层的三层架构* ``` ┌─────────────────────────────────────────────┐ │ 表现层 (Presentation) │ │ Web 服务器 / API 网关 │ └─────────────────────────────────────────────┘ │ ┌─────────────────────────────────────────────┐ │ 业务层 (Business) │ │ 应用服务器集群 │ └─────────────────────────────────────────────┘ │ ┌─────────────────────────────────────────────┐ │ 数据层 (Data) │ │ 数据库 / 缓存集群 │ └─────────────────────────────────────────────┘ ``` ### 微服务架构  *图:API Gateway 路由到四类服务与各自数据库* ``` ┌─────────────────────────────────────────────────────────┐ │ API Gateway │ └─────────────────────────────────────────────────────────┘ │ │ │ │ ┌────▼────┐ ┌────▼────┐ ┌────▼────┐ ┌────▼────┐ │ 用户服务 │ │ 订单服务 │ │ 商品服务 │ │ 支付服务 │ └────┬────┘ └────┬────┘ └────┬────┘ └────┬────┘ │ │ │ │ ┌────▼────┐ ┌────▼────┐ ┌────▼────┐ ┌────▼────┐ │ 用户 DB │ │ 订单 DB │ │ 商品 DB │ │ 支付 DB │ └─────────┘ └─────────┘ └─────────┘ └─────────┘ ```  ## 分布式系统的八大谬误 分布式计算的先驱们总结的常见错误假设: 1. **网络是可靠的** — 网络会断开、丢包 2. **延迟为零** — 网络通信需要时间 3. **带宽是无限的** — 带宽是有限且昂贵的 4. **网络是安全的** — 需要考虑安全问题 5. **拓扑不会变化** — 网络拓扑会动态变化 6. **只有一个管理员** — 可能有多个管理域 7. **传输成本为零** — 数据传输有成本 8. **网络是同构的** — 硬件和协议可能不同 ## 本章小结 - 分布式系统是通过网络连接的多台计算机协同工作的系统 - 核心特性:可扩展性、可用性、容错性、透明性 - 主要挑战:网络问题、时钟同步、数据一致性、部分失败 - 设计分布式系统需要权衡取舍,没有银弹 ## 思考题 1. 为什么说「分布式系统中不存在全局时钟」?这会带来什么问题? 2. 如果你要设计一个电商系统,会选择垂直扩展还是水平扩展?为什么? 3. 列举你日常使用的分布式系统(提示:微信、淘宝...) ## QA ### Q1:为什么说「分布式系统中不存在全局时钟」?这会带来什么问题? 因为每台机器都有自己的物理时钟,时钟之间会存在漂移、同步延迟和回拨,所以系统里无法像单机那样依赖一个绝对准确的统一时间。即使指定某一台机器当“中心时钟”,也会遇到单点故障、网络延迟和本地事件无法实时校时的问题,所以它也不能真正成为可靠的全局时钟。结果就是事件先后顺序难以仅靠时间戳判断,容易影响数据冲突解决、分布式锁超时判断、事务顺序控制和日志排障。工程上通常会结合 NTP、逻辑时钟、向量时钟或混合逻辑时钟来缓解。 ### Q2:如果你要设计一个电商系统,会选择垂直扩展还是水平扩展?为什么? 核心交易链路我会优先按水平扩展设计。因为电商流量峰值明显、业务模块多、容灾要求高,单纯垂直扩展很快会遇到单机上限,而且成本高、扩容不够灵活。通常做法是先在局部热点上适度垂直扩展,再通过负载均衡、服务拆分、缓存、分库分表和异步削峰实现整体水平扩展。 ### Q3:列举你日常使用的分布式系统。 常见例子有:微信消息系统、淘宝和京东的交易系统、抖音和 B 站的视频分发系统、12306 的购票系统、各类云盘的对象存储系统、地图导航和外卖调度系统。它们背后一般都包含多机房部署、服务拆分、缓存、消息队列、数据库复制与分片等典型分布式能力。 --- 下一篇:[02 - CAP 与一致性模型](./02-cap-consistency.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入