知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# Seata 生产实践与踩坑 > 导读:本文从"测试环境跑得好好的 AT 事务,上线后开始频繁超时、锁冲突、回滚失败,日志里全是看不懂的异常"这个具体的痛点出发,把 TC 的存储模式与高可用部署、事务分组与 Nacos 注册中心配置、客户端关键参数、undo_log 的运维红线、脏读/脏写与全局锁争用、超时与重试、SQL 兼容性限制、常见故障的定位手法逐项讲透,最后给出可落地的排查手册。适合已经或即将把 Seata 用到生产的后端与运维同学。 ## 一、部署与配置:先把底座搭稳 ### Q:TC(seata-server)有哪些存储模式?生产该怎么选? A:结论先行——TC 的存储模式决定"全局事务状态与全局锁存在哪里",主流有 **`file`、`db`、`redis` 三种(较新版本还提供 `raft`)**;生产集群**必须选支持状态共享的模式(`db` / `redis` / `raft`)**,`file` 只能用单机或开发环境。 先明确一个容易混淆的点:这里的存储是 **TC 自己的存储**(`global_table`、`branch_table`、`lock_table`、`distributed_lock` 等表),和业务库里的 `undo_log` **完全是两回事**——前者属于 TC,后者属于每个 RM 的业务库。 | 存储模式 | 状态存放在哪 | 是否支持多节点集群 | 优点 | 风险 / 代价 | | --- | --- | --- | --- | --- | | `file` | 内存 + 本地文件(默认 `root.data` 之类) | **不支持** | 零依赖、启动快,适合本地开发与单机验证 | 每个节点各存各的,集群下事务状态与全局锁不共享 → 回滚找不到事务、锁失效;重启可能丢在途会话 | | `db` | 关系型数据库(需建 TC 专用库与四张表) | 支持 | 最成熟、可读性最好(能直接查表定位事务与锁)、可备份 | 多一个强依赖;DB 慢会直接拖慢事务推进 | | `redis` | Redis | 支持 | 复用已有高可用 Redis,性能通常优于 DB 存储 | Redis 丢数据等于锁状态与事务状态丢失;key 结构由 Seata 管理,禁止人工操作 | | `raft` | 内嵌一致性存储(基于 Raft,无需外部存储) | 支持 | 无需额外中间件即可多节点一致 | 较新版本才提供,运维经验相对少,**是否选用需结合目标版本确认成熟度** | 选型建议(按"有没有运维能力"和"要不要可观测"来分): 1. **开发/联调单机** → `file`,零依赖,改配置最快。 2. **生产集群、团队有 DBA 与现成 MySQL** → `db`,理由是排查最方便:能直接查 `global_table` / `lock_table` 把"谁持有锁、事务停在哪个状态"看清楚,这是其他模式给不了的。 3. **已有高可用 Redis 且不想再养一个库** → `redis`,但要接受"Redis 故障 = 全局锁状态不可信"的风险,并监控其可用性与延迟。 4. **希望少一个外部依赖又必须多节点** → `raft`(新版本提供),**落地前务必按版本确认其稳定性与运维方式**。 两条硬性约束要记住: - **切换存储不是无损的**:不同存储之间不会自动迁移存量会话,切换前必须确认没有在途全局事务(具体行为以版本实现为准)。 - **不要在集群里混用存储配置**:同一事务组的节点指向不同存储会造成事务状态"分裂",极难排查。 ### Q:TC 怎么做高可用? A:结论先行——TC 本身设计成**无状态**(状态外置到 `db` / `redis` / `raft`),所以高可用 = **多实例 + 注册中心 + 外部存储**三件套;任意一个 TC 节点挂掉后,它上面未完成的全局事务可以由其他节点接管继续推进(并且二阶段的补偿任务也会被接管重试)。 部署要点按优先级排列: 1. **多实例 + 不混部**:至少两个节点并注册到同一个注册中心;TC 是协调型进程,**不建议与业务服务混部**(业务 GC 抖动会直接影响事务推进的及时性)。 2. **使用支持集群的存储**:`db` / `redis` / `raft`。这比"部署几个节点"更重要——**`file` 模式下部署三个节点不叫高可用,叫三个各自为政的单机**。 3. **通过注册中心发现**:客户端从注册中心拿可用 TC 列表;TC 通常以临时实例注册,节点下线会被自动剔除。客户端**不要写死单节点地址**(`grouplist` 只适用于没有注册中心的场景),否则扩容与故障切换都失去意义。 4. **理解"接管"的前提**:一次全局事务在某段时间内只与某个 TC 交互,但状态与全局锁在共享存储里,因此某个 TC 宕机后,**其他节点的后台恢复线程(recovery)能扫描到未完成事务并继续重试二阶段**——这正是"状态外置"的价值;用 `file` 时这个前提不存在。 5. **告警必须配齐**:TC 进程存活、TC 与存储的连接、**未完成事务数(长时间停在 committing/rollbacking 的事务)**、重试队列积压、接口延迟。这些指标比 CPU/内存更能反映"事务系统是否健康"。 一个必须建立的心智模型:**TC 挂掉不会让业务立刻停,但会让"锁"停在原地**——已开启的事务可以继续跑业务逻辑(需要注册新分支时会失败),而二阶段无法推进会导致**全局锁不释放、写同一批行的事务全部冲突**。所以 TC 高可用保障的其实是"写隔离的可用性"。 ### Q:事务分组(tx-service-group)和 vgroup-mapping 是什么关系? A:结论先行——它们是一条**三层映射链**:客户端用 `tx-service-group` 声明"我属于哪个逻辑分组"→ `vgroup-mapping` 把这个分组翻译成"TC 集群名(vgroup)"→ 注册中心里用这个集群名查到真实的 TC 实例列表。多出来的这一层间接,是为了**分组隔离与平滑迁移**。  *图:Seata 事务分组配置链——客户端用 tx-service-group 声明逻辑分组,vgroup-mapping 把分组名映射为 TC 集群名(vgroup),注册中心再按 clusterName 查出真实 TC 实例列表* ```text 客户端配置 配置中心 / 客户端本地配置 注册中心 tx-service-group = order_tx_group ──▶ vgroup-mapping: order_tx_group = default ──▶ 查询 clusterName=default 的实例列表 → [TC-1:8091, TC-2:8091, ...] ``` 为什么要有 vgroup 这一层?因为它同时提供了**隔离**(不同业务线指向不同 TC 集群,互不影响)、**迁移**(TC 扩容/搬迁只改映射,业务代码与配置无需变更)与**灰度**(新集群先接一个分组验证,再逐步放开)三种能力。 **典型报错与含义**(这类日志几乎都出在映射链断掉的环节): | 日志/报错特征 | 含义 | 排查方向 | | --- | --- | --- | | 找不到集群名(如 `can not get cluster name in registry config 'service.vgroupMapping.xxx'`) | 分组名在映射里没有配置,或配置中心的 key 没生效 | 检查 `tx-service-group` 与 `vgroup-mapping` 名字是否完全一致;确认配置中心里的映射项存在 | | 拿到集群名但无实例 | 注册中心里没有该集群名的 TC 实例 | 检查 TC 端集群名配置、TC 是否注册成功 | | 间歇性连接失败 | 拿到的是过期实例或网络不通 | 检查注册中心实例状态、网络与端口 | **几个高频配置坑**(每一条都在线上出现过): 1. **服务名不一致**:客户端配置里"TC 在注册中心的服务名"(常为 `application` 一项)与服务端注册的名字不同 → 客户端永远找不到 TC。 2. **多环境共用注册中心/配置中心**:测试环境的客户端连到了生产 TC。必须用 namespace + group 做环境隔离,**不要只靠名字前缀**。 3. **分组名拼写不一致**:大小写、下划线、前后空格都会导致映射失配。 4. **只配了一半**:服务端配了分组,客户端没配;或客户端配了分组,注册中心里没有对应映射。 5. **版本命名差异**:配置中心里的 key 形态与 starter 的键名在不同版本间有差异(1.x 常见 `service.vgroupMapping.*`,starter 侧为 `seata.service.vgroup-mapping`),**必须以目标版本的官方配置示例为准**。 ### Q:注册中心用 Nacos 时,有哪些容易配错的点? A:结论先行——Nacos 场景的问题几乎都集中在"**命名空间/分组/服务名三个坐标没对齐**"和"**启动顺序与鉴权**"这两类;把这几项做成上线检查清单,能消掉大部分"连不上 TC"的故障。 1. **三坐标必须与服务端一致**:namespace(命名空间)、group(分组)、以及 TC 在注册中心的服务名。**建议每个环境(dev/test/pre/prod)独立 namespace**,这是防止串环境最有效的手段。 2. **鉴权信息要配全**:Nacos 开启了认证时,客户端的注册与配置模块都需要用户名/密码(相关配置项在较新版本支持,**以版本为准**),漏配的表现是"能解析地址但一直连不上/注册失败"。 3. **注册中心与配置中心是两套配置**:`registry` 与 `config` 各自独立、可以不同源(例如"发现走 Nacos、配置读本地"),但**两处都要正确**。 4. **注意启动顺序**:先起 TC 与 Nacos,再起业务应用。TC 未就绪时业务侧可能启动报错或首批事务失败,上线流程中应把"基础设施先行"固化成步骤。 5. **理解实例摘除**:TC 通常以临时实例注册,网络抖动或心跳超时会被摘除;客户端需要容忍实例列表变化,因此**短时间的地址抖动是正常的**,排查时看实例历史而不是只看当下。 6. **网络与端口要通**:客户端需要能访问 Nacos 端口与 TC 端口(默认端口会随版本变化,**以所用版本的配置文件为准**),容器/云环境下尤其要检查安全组与网络策略。 7. **配置内容怎么放**:1.x 常见做法是用 `script/config-center/config.txt` 配合导入脚本把配置项写入配置中心,dataId / group 需与服务端约定一致;**脚本、dataId 与导入方式在不同版本间有差异,以版本自带的脚本与官方文档为准**。 8. **本地缓存只是缓冲**:配置中心不可用时客户端通常回退到本地缓存文件,这不能替代配置中心的高可用。 ## 二、客户端配置与 undo_log 运维 ### Q:客户端关键配置有哪些? A:结论先行——AT 的客户端配置分成四组:**连接类**(分组与注册中心)、**代理类**、**锁与重试类**、**undo_log 类**。调参前先确认前三组正确,否则调参等于掩盖问题。 ```yaml # 解决什么问题:把"我是谁、连哪个 TC、怎么代理、锁冲突怎么办、undo_log 怎么存"一次配清楚 seata: enabled: true application-id: order-service tx-service-group: order_tx_group enable-auto-data-source-proxy: true data-source-proxy-mode: AT # AT / XA service: vgroup-mapping: order_tx_group: default registry: type: nacos nacos: server-addr: 127.0.0.1:8848 application: seata-server # 必须与 TC 注册的服务名一致 group: SEATA_GROUP config: type: nacos nacos: server-addr: 127.0.0.1:8848 group: SEATA_GROUP client: rm: lock: retry-interval: 10 # 锁冲突重试间隔(毫秒) retry-times: 30 # 重试次数 undo: data-validation: true # 回滚前做数据校验(建议保持开启) log-serialization: jackson # 序列化方式,全站必须统一 log-table: undo_log # 业务库里的回滚日志表名 ``` | 配置组 | 关键项 | 作用与注意点 | | --- | --- | --- | | 连接类 | `tx-service-group` / `vgroup-mapping` / `registry.*` | 决定能不能找到 TC;**每个参与方都要配**,不是只有入口服务配 | | 代理类 | `enable-auto-data-source-proxy` / `data-source-proxy-mode` | 决定数据源是否被代理;手工创建的数据源可能代理不到,会表现为"部分回滚" | | 锁与重试类 | `client.rm.lock.retry-interval` / `retry-times` | 决定锁冲突时的等待策略;调大只缓解表象,会拉长 RT | | undo_log 类 | `data-validation` / `log-serialization` / `log-table` | 决定回滚能否正确执行;**序列化方式与表名一旦变更,影响历史数据** | 三个容易忽略的实践点: - **`data-validation` 不要关**:关掉后回滚不再校验"这行是否被别人改过",会直接按前镜像覆盖,等于拆掉 AT 的最后一道防线。 - **`log-serialization` 是"全站级"配置**:它决定 `rollback_info` 的二进制格式,不同服务用不同方式会在"A 写 B 读"的极端场景下出兼容问题,升级版本同理。 - **全局超时要大于下游超时之和**:`@GlobalTransactional` 的超时属性(如 `timeoutMills`,**默认值以版本为准**)应显著大于"内部 RPC 超时 + 本地处理时间",否则会出现"全局事务已判定超时并开始回滚、而分支还在执行"的错位,业务侧看到的是"接口报超时,但数据最终回滚了"。 ### Q:undo_log 表为什么绝对不能随意清理? A:结论先行——`undo_log` 是**"未完成的全局事务"的补偿依据**,不是历史日志;误清理的后果是**某笔业务永远无法回滚**,而且往往在清理之后很久才暴露(等到真正需要回滚时才知道)。 误删之后的故障链条:  *图:清理脚本删 undo_log 导致该分支无法补偿的后果链* ```text 清理脚本删除 undo_log → 某笔全局事务失败,TC 通知 RM 回滚 → RM 按 xid + branch_id 查不到 undo_log → 该分支无法补偿(业务数据保持错误状态) → 该分支回滚反复失败/被标记异常,全局锁的释放也可能被拖延 → 最终只能靠人工查数据差异来修复 ``` 正确的运维姿势: 1. **建表纳入自动化流程**:所有物理库(含分库分表后的每个库与新扩分片)都必须有 `undo_log`,用 Flyway/Liquibase 保证"新建库自动带上"。 2. **监控两件事**:`undo_log` 的**行数**(突增说明有大量在途事务或回滚积压)与**最早一条的 `log_created`**(长时间未清理说明有事务卡住)。查询示例: ```sql -- 解决什么问题:找出"滞留超过 30 分钟仍未完成二阶段"的 undo_log,用于发现卡死的全局事务 SELECT xid, branch_id, log_status, log_created, log_modified FROM undo_log WHERE log_created < DATE_SUB(NOW(), INTERVAL 30 MINUTE) ORDER BY log_created ASC LIMIT 100; ``` 注意:这个查询是**发现异常用的,不是清理用的**。查出来的记录要先拿去 TC 侧核对全局事务状态,确认"该事务确实已结束且不再需要补偿"才能处理。 3. **清理条件必须包含"事务已结束"的确认**,而不是仅凭时间。判断依据应以 TC 存储中的全局事务状态(`db` 模式可查 `global_table`)为准。 4. **禁止把 `undo_log` 纳入通用"大表清理"脚本**:它长得像日志表,但它不是。 5. **变更序列化方式前先做兼容评估**:历史 `undo_log` 与新的序列化实现不兼容,是后面"反序列化失败"问题的根因。 ## 三、隔离性与锁:生产问题的最大来源 ### Q:脏读和脏写在线上的真实表现是什么? A:结论先行——**脏读**表现为"业务读到了一个从未真正存在过的值"(库存、余额、状态),不写坏数据但会让业务判断出错;**脏写**表现为"某行被回退成旧值、覆盖了别人的更新",直接破坏数据。前者靠"加锁读 + 业务容忍"处理,后者主要靠全局锁,而**最大的脏写来源是"绕过 Seata 的写入"**。 为什么测试环境很难发现:全局事务很快结束,中间态可见窗口极短,低并发下几乎撞不到;数据量小、热点不集中,全局锁几乎不冲突;测试环境往往只有一个入口在写同一批表,而生产上还有手工脚本、离线任务与其他团队的直连应用。 线上定位脏读的信号:接口返回了"事后查库完全正常"的不合理值,且集中在同一批热点行或展示接口上;把查询改成 `SELECT ... FOR UPDATE`(只读校验场景可配合 `@GlobalLock`,**支持范围以版本为准**)后现象消失。定位脏写的信号:数据被"回退"成更早的版本、能追到回滚相关告警,且出问题的时间点附近有一笔全局事务回滚、同时这一行还有**其他来源的写入**。 处理与预防: - **把写同一批表的入口盘清**:手工刷数脚本、数据订正流程、未接入 Seata 的服务、离线任务。这一步的收益远大于任何参数调优。 - **保持 `data-validation` 开启**,让它至少在回滚时能发现"这行被别人改过"。 - **对关键判断类读取,不要用普通 `SELECT`**:改成加锁读,或者把这个判断挪进同一个全局事务里。 ### Q:全局锁争用为什么会导致接口大面积超时? A:结论先行——因为**全局事务的时长等于全局锁的持有时间**:同热点行的多个全局事务只能有一个拿到锁,其余进入"重试—等待—再重试"循环;重试耗尽即失败,失败又触发回滚(回滚同样持锁),叠加请求堆积,很容易从"锁冲突"演化为"服务整体不可用"。 放大这条链路的因素(按现场出现频率): 1. **全局事务里做了耗时操作**:外部 HTTP 调用、批处理、循环 N 次数据库操作、发消息同步等待。事务时间被这些操作拉长数倍,锁就多持有数倍。 2. **热点行写**:秒杀单品、平台级账户、公共配置表、库存总表。所有请求都在争夺同一把全局锁。 3. **连接池/线程池不足**:业务线程拿不到连接,本地事务迟迟不提交 → 一阶段迟迟不结束 → 锁持有时间被动拉长。 4. **TC 侧滞后**:TC 过载、存储慢、或 TC 故障期间二阶段停滞,导致锁迟迟不释放。 5. **失败率升高**:下游异常导致更多全局事务进入回滚,而回滚也要占用锁,形成正反馈。 排查手法(`db` 存储模式下最直观): ```sql -- 解决什么问题:从锁表反查到"到底是谁持有这把锁",把问题从"现象"定位到"具体事务" SELECT xid, transaction_id, branch_id, resource_id, table_name, pk, gmt_create, gmt_modified FROM lock_table WHERE table_name = 't_stock' AND pk = '1001'; -- 部分版本 lock_table 还包含 status 等字段,以目标版本的建表脚本为准 -- 再用 xid 查全局事务状态,判断是"正常在途"还是"卡死" SELECT xid, status, application_id, transaction_service_group, transaction_name, begin_time, application_data, gmt_create, gmt_modified FROM global_table WHERE xid = '<上一步查到的 xid>'; ``` 读这两张表的判读逻辑: | 观察到的现象 | 含义 | 处理方向 | | --- | --- | --- | | `lock_table` 有记录,对应 `global_table.begin_time` 很近 | 正常的在途并发 | 属于并发压力问题:缩短事务、拆热点 | | `begin_time` 很久之前,`status` 停在提交/回滚中 | 事务卡住(客户端不可达 / 二阶段推进失败) | 确认持有者应用存活、undo_log 是否还在、TC 重试是否在推进 | | `global_table` 状态已结束,但 `lock_table` 记录还在 | 状态与锁不一致的异常路径 | 需结合版本实现与官方排查指引定位,**不要贸然删锁** | `global_table.status` 是数字枚举,含义在不同版本间有调整,**排查前先对照目标版本的 `GlobalStatus` 枚举**,不要凭记忆解释数字。 缓解手段按"治本程度"排序: 1. **缩短事务**:把外部调用、批处理、消息发送移出 `@GlobalTransactional` 方法。 2. **拆热点**:库存分桶、账户拆子账户、配置改缓存;把"单行热点"变成"多行并行"。 3. **改异步**:把"同步扣减"改成"预占 + 异步确认",从根上打散锁竞争。 4. **换模式**:需要预留语义的场景(库存、余额)改用 TCC,把串行化交给业务设计而不是全局锁。 5. **调重试参数**:只能减少失败报错,不能减少争用,还会拉长 RT,属于临时手段。 6. **兜底保护**:限流 + 熔断 + 降级,防止锁冲突传导为服务级故障。 ### Q:超时与重试的关系是什么? A:结论先行——Seata 链路里有**三层超时**(全局事务超时、分支/RPC 超时、数据库与连接池超时)和**四层重试**(锁冲突重试、分支注册/上报重试、TM 提交/回滚重试、TC 后台对二阶段的重试);设计原则是**全局超时必须显著大于"分支 RPC 超时 + 本地处理时间"**,并且重试必须有上限、有告警、有人工通道。 三层超时的关系: | 超时层次 | 谁控制 | 超时后的行为 | 常见配置失误 | | --- | --- | --- | --- | | 全局事务超时 | TM/TC(`@GlobalTransactional` 的超时属性) | 由 TC 主动触发全局回滚,**业务线程可能已经返回成功** | 设得太短,出现"业务成功但事务回滚"的错位 | | 分支/RPC 超时 | 业务框架(Feign/Dubbo/HTTP 客户端) | 上游拿到超时异常 → 触发全局回滚 | 设得比全局超时还大,超时永远由上一层先触发 | | 数据库/连接池超时 | 数据源与数据库 | 本地事务失败 → 分支失败 | 连接池过小,导致一阶段变慢、锁持有变长 | 四层重试与副作用: 1. **锁冲突重试**(`client.rm.lock.retry-interval` / `retry-times`):调大能减少失败,但会显著拉长接口 RT,并把压力传导给下游。 2. **分支注册/上报重试**:网络抖动时的自愈能力,代价是本地事务提交被推迟(锁持有时间变长)。 3. **TM 提交/回滚重试**:全局事务收尾时的重试,重试耗尽会留下需要人工关注的全局事务。 4. **TC 后台对二阶段的持续重试**:这是"最终一致"能落地的关键机制——只要客户端恢复可用,滞留的回滚通常能被推进完成;但**如果客户端长期不可用,全局锁就会长期不释放**。 **"事务未提交导致锁长期占用"的四个典型原因:** 1. 应用 HANG 在外部调用上(没有超时或超时设置过大),一阶段一直不结束; 2. 连接池/线程池耗尽,本地事务迟迟提交不了; 3. 应用崩溃或重启期间 RM 不可达,二阶段通知无法送达; 4. TC 侧重试队列积压或 TC 存储异常,二阶段推进变慢。 处置顺序:**先定位持有者(锁表 → xid → 应用)→ 判断"能否自愈"**;能自愈(客户端可恢复、TC 重试在推进)就等待观察;只有在确认该事务绝不会再提交或回滚时,才考虑清理锁记录这种极端手段,且必须有人复核。 ## 四、SQL 兼容性与方案取舍 ### Q:AT 支持哪些 SQL,哪些不支持? A:结论先行——AT 基于 SQL 解析来做镜像与补偿,因此它对 SQL 有明确的能力边界:**单表 INSERT / UPDATE / DELETE 基本可用;DDL、无法定位行的语句、多表关联 DML、部分特殊语法与数据库内部执行的 DML 都不在支持范围内**;且同一条 SQL 在不同 Seata / 数据库版本上的表现可能不同,**必须以目标版本实测为准**。 | SQL 类型 | 是否支持 | 现象与说明 | 建议 | | --- | --- | --- | --- | | 单表 INSERT/UPDATE/DELETE | 支持 | 正常采集前后镜像并生成补偿 | 常规写法即可 | | `SELECT ... FOR UPDATE` | 支持(走专门执行器) | 会先申请全局锁再查询,用于防脏读 | 只读校验场景可配合 `@GlobalLock`(**支持范围以版本为准**) | | DDL(CREATE/ALTER/DROP/TRUNCATE) | **不支持** | DDL 不进全局事务,与业务数据可能不一致 | DDL 走独立发布流程 | | 无主键表的 DML | **不可靠** | 无法生成可靠的 `WHERE` 条件去定位行 | 补主键,或把该表移出全局事务 | | 多表关联 UPDATE/DELETE | **受限** | 解析与回滚语义复杂,**行为随版本变化** | 拆成单表操作;改造前必须实测确认 | | 复杂子查询 / 特殊函数 / `UPDATE ... LIMIT` 等 | **受限** | 可能解析失败或镜像不完整 | 用真实 SQL 做"成功 + 回滚"双向回归 | | 更新主键列的语句 | **不支持** | 前后镜像主键集合不一致,无法安全补偿 | 改为"删除 + 插入"或调整模型 | | 存储过程 / 触发器内部的 DML | **不受管** | 在数据库内部执行,框架采集不到 | 关键写入不要藏在存储过程/触发器里 | | `ON DUPLICATE KEY UPDATE` / `REPLACE INTO` 等 | **需实测确认** | 不同版本处理方式可能不同 | 灰度前在目标版本验证 | | 表结构变更后的元数据缓存 | **需注意** | 缓存与真实表结构不一致会导致异常 | 变更表结构后重启应用或等缓存刷新 | 落地方法(不靠"背限制清单",靠流程): 1. **上线前做 SQL 盘点**:用慢日志/审计日志/`general_log` 抓取线上真实 SQL,按表与语句类型分类,人工排查是否存在上表中的"受限项"。 2. **对每条关键链路做"双向回归"**:不只验证成功路径,还要强制触发回滚,确认补偿后的数据与预期完全一致。 3. **把 SQL 规范写进代码评审卡点**:禁止在全局事务方法里写 DDL、禁止无主键表参与、禁止复杂多表 DML。 4. **接入新数据库或新版本前先测**:不同数据库对 AT 的支持程度不同,**支持矩阵以目标版本官方文档为准**。 ### Q:什么时候应该放弃 AT,改用消息最终一致性? A:结论先行——**当链路里有非数据库资源、事务时长或并发压力超出 AT 的舒适区、或业务需要强隔离时,就应该考虑消息最终一致性(本地消息表 / MQ 事务消息)**;判断标准不是"AT 好不好用",而是"业务能不能接受把同步回滚改成异步补偿"。 **触发重新评估的信号(命中任意一条就该评估):** 1. 链路里包含第三方接口或非数据库存储(Redis、ES、MQ 投递); 2. 事务时长普遍超过秒级、分支数偏多,或存在高并发写同一行的热点行; 3. 业务需要读到精确值再做判断(对账、额度校验); 4. 参与方跨语言栈、跨团队,接入 Seata 成本高; 5. 团队不具备 undo_log 巡检、全局锁监控、回滚失败处置的运维能力。 **改造的两条主路径:** - **同步转异步**:把"下单即扣库存"改成"下单预占 + 异步事件扣减 + 消费幂等 + 对账兜底",业务上多做一点,换来无需全局锁与长事务。 - **状态机 + 对账**:业务侧维护单据状态机(待支付/待发货/已关闭),用定时对账任务发现并修复不一致,把"事务一致性"降级为"业务状态可收敛"。 **两种方案的取舍表:** | 维度 | Seata AT | 消息最终一致(本地消息表 / MQ 事务消息) | | --- | --- | --- | | 一致性时效 | 通常更短(秒级内完成二阶段) | 取决于投递/消费延迟与重试策略 | | 实现成本 | 低(一个注解 + 规范库表) | 中高(消息表/半消息、投递任务、消费幂等、对账) | | 强依赖 | TC + 每个库的 undo_log | MQ 或业务库 + 消费方幂等能力 | | 可观测性 | 能查事务状态与锁(`db` 模式) | 能查消息投递状态与消费进度 | | 失败处理 | 框架驱动回滚 | 业务驱动重试与补偿 | | 隔离性 | 写靠全局锁,读默认未提交 | 天然无隔离(异步本就允许中间态) | | 适合场景 | 短事务、纯数据库、需要"立刻给结果" | 长流程、跨系统、可异步、需要削峰 | 一个实用结论:**如果一个业务链路能被改造成"异步也能接受",那么消息方案通常比 AT 更稳、更容易扩容**;反之,如果业务必须在一次请求内给出确定结果,AT 才体现出价值。 ## 五、故障排查手册 ### Q:undo_log 反序列化失败怎么查? A:结论先行——这个问题的根因几乎都是"**写入时的序列化方式/版本"与"读取时的序列化方式/版本"不一致**;排查的关键是确认那条 `undo_log` 是"谁在什么时候用什么配置写的",处置的关键是**不要为了消掉报错而直接删 `undo_log`**。 **现象**:二阶段回滚时报反序列化异常(Jackson 相关异常、Kryo 相关异常、`ClassCastException` 一类),日志里通常带 `xid` 与 `branchId`。 **根因清单(按现场概率排序):** 1. `client.undo.log-serialization` 被修改过(例如从 `jackson` 改成 `kryo`,或反之),历史 `undo_log` 是旧格式; 2. 参与方 Seata 客户端版本升级或降级,序列化实现随版本变化,同一个 xid 的 `undo_log` 由不同版本写入; 3. 业务表结构或实体类变更(字段类型/名称改变),反序列化目标不匹配; 4. 同一套库被多个团队/多个应用写入,而它们的 Seata 版本或序列化配置不一致。 **排查步骤:** 1. 从报错日志拿到 `xid` / `branchId`,在业务库中查出对应的 `undo_log` 记录(观察 `context`、`log_created` 等线索); 2. 对照发布记录,确认该时间点前后有没有"序列化配置变更"或"Seata 版本变更"; 3. 到 TC 侧确认这个全局事务当前的状态(还在回滚中 / 已结束 / 已被标记异常); 4. 评估"这条分支是否必须回滚"——这决定了后续是"修复配置重试"还是"人工修数据"。 **处置原则**:配置被改错就**先改回原配置**,让回滚能读到历史数据;确认该全局事务已彻底结束(TC 侧无在途记录)后,清理这条记录才安全;如果该分支必须回滚而 `undo_log` 已不可读,只能人工修复数据并留档——**这是需要审批的操作**。 **预防**:全站统一 Seata 版本与序列化配置;升级前验证历史 `undo_log` 兼容性;把"序列化配置"列入变更评审检查项。 ### Q:全局锁冲突怎么定位持有者? A:结论先行——按"**现象 → 锁表 → 事务表 → 应用**"这条链路查:先确认冲突的 lock key,再从 `lock_table` 反查 `xid`,用 `xid` 去 `global_table` 看事务状态与所属应用,最后到对应应用的日志/链路追踪里定位具体业务方法。 **现象**:日志中出现全局锁申请失败(`LockConflictException` 一类,形如 `get global lock fail, xid:..., lockKeys:...`,**具体日志格式随版本略有差异**),接口 RT 与失败率同时上升。 定位链路: 1. **确认 lock key**:从报错日志里的 `lockKeys` 直接读出"表名 + 主键值"。 2. **查锁持有者**(`db` 存储模式): ```sql SELECT xid, transaction_id, branch_id, resource_id, table_name, pk, gmt_create, gmt_modified FROM lock_table WHERE table_name = 't_stock' AND pk = '1001'; ``` 3. **查全局事务状态与归属**: ```sql SELECT xid, status, application_id, transaction_service_group, transaction_name, begin_time, application_data, gmt_create, gmt_modified FROM global_table WHERE xid = '<上一步的 xid>'; ``` `application_id` 直接告诉你"是哪个应用持有",`transaction_name` / `application_data` 通常能指向具体的业务入口。 4. **到应用侧定位**:用 `xid` 搜应用日志(Seata 会把 xid 打进日志上下文),结合链路追踪找到那个方法,确认它为什么这么久没结束。 **判读与处理**(详见前文"全局锁争用"一节):区分"正常在途(并发压力)"和"卡死(异常)"两类;前者靠缩短事务/拆热点/改异步解决,后者要先确认客户端与 TC 的恢复能力。 **关于"人工删锁"**:删 `lock_table` 记录等价于主动放弃对该行的写隔离,会让正在回滚的事务在补偿时破坏他人写入。只有在**绝对确认对应事务不会再提交/回滚**、且已经评估过数据风险、并有人复核的前提下才可执行——把它写进应急预案,而不是当成常规操作。 ### Q:分支注册失败怎么查? A:结论先行——分支注册失败说明"**RM 与 TC 之间的注册链路没走通**",排查方向固定为四层:网络/可达性 → 注册中心实例 → TC 自身与存储 → 业务侧与版本一致性。 **现象**:客户端日志出现分支注册失败/超时类异常(`TransactionException` 一族,文案随版本不同)。 **四层排查:** 1. **网络与可达性**:客户端能否连通 TC 地址与端口,注册中心返回的地址是否有安全组/网络策略拦截;容器环境下尤其要确认"注册进去的地址"与"客户端能访问的地址"一致。 2. **注册中心实例**:目标 vgroup 下是否有健康实例、实例列表是否为过期缓存。 3. **TC 自身与存储**:TC 日志里有没有收到该 xid 的请求;存储(`db` / `redis`)是否可用、有无慢查询或连接耗尽;TC 是否有资源瓶颈。 4. **业务侧与版本一致性**:业务库本身是否正常(连接池、慢 SQL、锁等待)——分支注册与本地事务的执行是交织的,**执行顺序会影响排查方向,需结合版本实现确认**;同时确认客户端与服务端版本匹配,**跨大版本混用要谨慎评估协议兼容性**。 **处置原则**:先看是否为个别实例问题(可临时摘除),再看是否为容量问题,最后才是参数调整。**不要用"临时关闭 Seata"来止血**——那会把"可回滚的不一致"变成"不可回滚的不一致"。 ### Q:TC 不可用会发生什么?怎么排查? A:结论先行——TC 不可用会**分三层影响**:新全局事务无法开启、需要注册新分支的事务无法继续、已进入二阶段的事务推进停滞(**全局锁不释放**);第三层最隐蔽也最危险。排查顺序是"进程 → 注册中心 → 存储 → TC 日志 → 客户端日志"。 **影响分层:** | 层次 | 表现 | 说明 | | --- | --- | --- | | 新事务开启 | TM 开启全局事务失败 → 业务方法直接抛异常 | 最直观,监控上立刻可见 | | 分支注册 | 下游分支注册失败 → 分支无法完成 | 表现为接口大量报错 | | 二阶段推进 | 提交/回滚停滞 → **全局锁不释放** | 最隐蔽:表面已恢复,但被锁的行持续冲突 | 关键结论:**"TC 挂了业务还能跑"只对"不再产生新分支的链路"成立**;只要还有写在全局事务范围内,链路就会受影响。TC 恢复后,未完成事务会由恢复机制继续推进(**重试机制与配置项以版本为准**),这正是"TC 高可用必须靠共享存储 + 多节点"的原因。 **排查清单:** 1. **进程与端口**:TC 进程是否存活、端口是否在监听、有没有 OOM 或线程耗尽。 2. **注册中心**:TC 实例是否还在列表里、版本/分组是否正确。 3. **TC 存储**:`db` 模式看数据库连接数、慢查询、磁盘;`redis` 模式看延迟、内存、主从状态与是否发生过主从切换导致数据丢失。 4. **TC 日志**:有没有存储相关异常、事务推进失败、重试队列积压。 5. **客户端日志**:连接超时、注册失败、以及**锁冲突的突增**(这往往就是"TC 侧二阶段停滞"的旁证)。 6. **配置形态差异**:1.x 与较新版本在配置文件形态、端口、部分配置键名上都有变化,**升级或混用前必须按目标版本核对**,不要把旧配置直接复用。 **预案建议**:TC 多节点 + 存储高可用 + "未完成事务数 / 重试积压 / 全局锁持有时间"三类告警 + 写明"谁判断、谁处置、何时允许人工清理"的应急预案。另外注意两个高频的"伪高可用":`file` 模式部署多节点(状态不共享),以及多节点共用外部存储却配置了不同的集群名/分组(故障时无法接管)。 ## 小结 - **存储模式决定架构底线**:`file` 只能单机(多节点是伪高可用),生产集群必须用 `db` / `redis` / `raft`;TC 的存储表与业务库的 `undo_log` 是两套完全不同的东西。 - **事务分组是一条三层映射链**:`tx-service-group` → `vgroup-mapping` → 注册中心实例列表;"找不到集群名"类报错几乎都出在这条链上,多环境务必用 namespace 隔离。 - **undo_log 是补偿依据,不是日志**:覆盖所有物理库;监控"行数"与"最早一条的年龄";清理必须以"全局事务已结束"为前提;序列化方式变更会导致历史数据反序列化失败。 - **锁与超时是生产问题的最大来源**:全局事务时长 = 全局锁持有时间;定位靠 `lock_table` → `global_table` → 应用日志三步走;全局超时须大于 RPC 超时 + 本地处理时间,四层重试都要有上限与告警。 - **边界靠流程守,能异步就异步**:AT 只支持单表 DML,DDL / 无主键表 / 多表 DML 是雷区,上线前要做 SQL 盘点与强制回滚回归;出现非数据库资源、长事务、热点行时,消息最终一致往往更稳,而对账是所有最终一致方案的最后防线。 ## 思考题 1. 为什么 `file` 模式下的"三节点集群"在 TC 挂掉一个之后,可能导致回滚彻底失败?请从"状态存在哪里"的角度解释。 2. 你在 `lock_table` 里看到一把锁已经持有 40 分钟,`global_table` 里对应事务的状态停在回滚中。请列出你会依次执行的五个排查动作,以及每一步想得到什么信息。 3. 一个业务方要求"把超时时间从 30 秒调到 3 秒,让报错更快出现",你会怎么回应?调小超时可能带来什么新的不一致? 4. `undo_log` 表被一个"清理历史数据"的定时任务误删了一部分,你应该先做什么、不应该做什么?如何判断哪些事务已经不需要补偿? 5. 如果让你给团队写一份《Seata 上线检查清单》,你会包含哪十条?请至少覆盖部署、配置、SQL、监控、预案五个维度。
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入