知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 45 - 日志收集系统设计 > 导读:本文用一问一答的方式,讲清日志系统"为什么要集中收集、ELK 各组件干什么、traceId 怎么串联跨服务日志、海量数据怎么扛"。读完你能独立回答日志/可观测性类系统设计题,并理解 Kafka 缓冲与 ES 分索引背后的取舍。适合准备系统设计面试的后端工程师。 ## 一、先建立全局认知 ### Q:为什么需要一个集中的日志收集系统? A:结论——**因为微服务把"一次请求"拆散到了多台机器、多个服务里,如果日志还留在本地,排查问题的成本会随实例数量线性上升。** 典型的痛点有两个。第一是"找不到":假设微服务架构下有 100+ 个服务实例,日志分散在各台机器上,排查一个问题需要登录多台机器 `grep`,效率极低。第二是"串不起来":一个请求经过网关 → 用户服务 → 订单服务 → 支付服务,日志散落在 4 个服务中,无法关联成一条完整链路。 要用一句话概括需求边界: ``` 需求: 1. 集中收集所有服务的日志,统一查询 2. 链路追踪:一个请求经过多个服务,能通过 traceId 串联所有日志 3. 日志分级:ERROR 日志实时告警,INFO 日志用于排查 4. 支持海量数据:日均 10 亿条日志,查询响应 < 3 秒 ``` 第 2 条和第 4 条是最难的两点:**链路追踪要求所有服务在日志里写同一个关联标识;海量数据要求写入能水平扩展、查询还不能慢。** 这两点决定了后面的架构选型。 ### Q:ELK 链路由哪些组件组成?各自职责是什么? A:链路是"采集 → 缓冲 → 解析 → 存储 → 查询",每一段解决一个特定问题,缺一环性能或可靠性就会出短板:  *图:Kafka 缓冲洪峰,Logstash 解析后写入 ES* ``` ┌─────────────┐ 服务 A ──→ Filebeat ──┐ │ │ 服务 B ──→ Filebeat ──┼──→ Kafka ──→│ Logstash │──→ Elasticsearch ──→ Kibana 服务 C ──→ Filebeat ──┘ │ (解析/过滤) │ (存储/索引) (可视化) └─────────────┘ 各组件职责: - Filebeat:轻量级日志采集器,部署在每台机器上,采集日志文件 - Kafka:日志缓冲层,削峰填谷,防止日志洪峰打垮 ES - Logstash:日志解析、过滤、格式化(也可用 Flink 替代) - Elasticsearch:日志存储和全文检索 - Kibana:日志查询和可视化面板 ```  [编辑 Excalidraw 源图](/images/java-interview-copy/system-design/45-design-log-system-design-log-system-elk-pipeline-diagram.excalidraw) **注意 Kafka 的位置:** 它插在采集与解析之间,不是一个可有可无的中间件,而是把"日志产生的瞬时尖峰"和"后端消费的稳定速率"解耦的关键(下一节会专门讲它的价值)。Filebeat 之所以放在最前面而不是直接用 Logstash,是因为 Filebeat 极轻量、资源占用低,适合铺满所有业务机器;Logstash 相对重,集中部署即可。 ## 二、理解核心机制 ### Q:日志格式为什么要统一成 JSON? A:因为下游要往 ES 里做结构化索引,**字段化的 JSON 能让 ES 直接按 `level`、`traceId`、`app` 建索引和过滤,而一行纯文本只能全文匹配。** 业务代码侧正常打日志即可: ```java // 统一日志格式(JSON 格式,方便 ES 索引) @Slf4j public class OrderService { public void createOrder(OrderDTO dto) { log.info("创建订单 orderId={} userId={} amount={}", dto.getOrderId(), dto.getUserId(), dto.getAmount()); } } // logback-spring.xml 配置 JSON 格式输出 // <encoder class="net.logstash.logback.encoder.LogstashEncoder"> // <customFields>{"app":"order-service","env":"prod"}</customFields> // </encoder> ``` 由日志框架统一输出成如下 JSON,关键字段(尤其是 `traceId`)由框架自动补齐,业务代码不需要手写: ```json { "timestamp": "2024-01-15T10:30:15.123+08:00", "level": "INFO", "logger": "com.example.OrderService", "message": "创建订单 orderId=20240115001 userId=10086 amount=99.9", "traceId": "a1b2c3d4e5f6", "spanId": "1234567890", "app": "order-service", "env": "prod", "host": "10.0.1.100" } ``` **为什么要带 `app`、`env`、`host`?** 因为集中收集后,日志来自大量服务与实例,查询时必须能回答"这条日志出自哪个应用、哪个环境、哪台机器"。少了这三个维度,出问题时只能靠时间戳猜。 ### Q:traceId 是怎么贯穿一个跨服务请求的? A:核心机制是 **MDC(Mapped Diagnostic Context,映射诊断上下文,本质是绑定在当前线程上的一个 Map)**。日志组件在输出时会读取当前线程 MDC 里的 `traceId` 写进日志,于是"一个请求内的所有日志自动带上同一个 traceId"。落地分三步: 第一步,在网关生成 traceId 并放进请求头(如果上游已经带了 `X-Trace-Id` 就沿用,避免重造): ```java // 方案:MDC(Mapped Diagnostic Context)+ 拦截器 // 1. 网关生成 traceId,放入请求头 @Component public class TraceFilter implements GlobalFilter { @Override public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) { String traceId = exchange.getRequest().getHeaders().getFirst("X-Trace-Id"); if (traceId == null) { traceId = UUID.randomUUID().toString().replace("-", ""); } ServerHttpRequest request = exchange.getRequest().mutate() .header("X-Trace-Id", traceId) .build(); return chain.filter(exchange.mutate().request(request).build()); } } ``` 第二步,各服务从请求头取出 traceId 放进 MDC,请求结束时清理。**`MDC.clear()` 这一行是必须的**——Web 容器用线程池处理请求,线程会被复用,不清理就会导致下一个请求"继承"上一个请求的 traceId(业内称为 traceId 串号): ```java // 2. 各服务拦截器:从请求头取 traceId,放入 MDC @Component public class TraceInterceptor implements HandlerInterceptor { @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) { String traceId = request.getHeader("X-Trace-Id"); if (traceId == null) { traceId = UUID.randomUUID().toString().replace("-", ""); } MDC.put("traceId", traceId); return true; } @Override public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) { MDC.clear(); // 请求结束清理,防止线程复用导致 traceId 串 } } // 3. logback 配置中引用 traceId // <pattern>%d{yyyy-MM-dd HH:mm:ss} [%X{traceId}] %-5level %logger - %msg%n</pattern> ``` 第三步是日志模板里引用 `%X{traceId}`(`%X` 即读取 MDC)。这样只要是同一次请求,网关、用户、订单、支付四个服务的日志都会带同一个 traceId,在 ES 里按 traceId 一搜就能还原完整调用链。 ### Q:跨服务调用和跨线程时,traceId 怎么传递? A:MDC 是线程绑定的,**一旦脱离了处理请求的那个线程,MDC 就"丢"了。** 两种常见场景要分别处理。 跨服务(Feign 调用下游):用一个请求拦截器把当前 MDC 里的 traceId 塞进下游请求头,这样下游服务的拦截器又能把它放回 MDC,形成接力: ```java // Feign 拦截器:调用下游服务时自动传递 traceId @Component public class FeignTraceInterceptor implements RequestInterceptor { @Override public void apply(RequestTemplate template) { String traceId = MDC.get("traceId"); if (traceId != null) { template.header("X-Trace-Id", traceId); } } } ``` 跨线程(把任务丢进线程池):主线程的 MDC 不会自动传给池里的工作线程,需要用 `TaskDecorator` 把上下文快照一起带过去: ```java // 异步线程传递:线程池中的任务也需要 traceId // 用 TaskDecorator 包装 public class MdcTaskDecorator implements TaskDecorator { @Override public Runnable decorate(Runnable runnable) { Map<String, String> contextMap = MDC.getCopyOfContextMap(); return () -> { try { if (contextMap != null) { MDC.setContextMap(contextMap); } runnable.run(); } finally { MDC.clear(); } }; } } ``` **易错点:** `MdcTaskDecorator` 必须在 `finally` 里清理 MDC,否则复用该工作线程的后续任务又会串号——这个坑和第二步拦截器里 `MDC.clear()` 是同一个根因。 ### Q:日志怎么分级?ERROR 告警怎么配置? A:分级的目标是"不同价值的信息用不同的成本对待":重要的留得久、告警快,廉价的信息几天就删。原文给出的分级策略: ```yaml # 日志分级策略 # Level 用途 存储策略 告警 # ERROR 系统异常、业务异常 保留 30 天 实时告警(钉钉/飞书) # WARN 潜在问题 保留 15 天 聚合后告警 # INFO 业务关键节点 保留 7 天 不告警 # DEBUG 调试信息 仅开发环境 不告警 ``` ERROR 告警在 Logstash 的 output 里做条件分流——命中 `level == "ERROR"` 时推 webhook,同时所有日志照常写 ES: ```java // ERROR 日志实时告警(Logstash 配置) // output { // if [level] == "ERROR" { // http { // url => "https://webhook.dingtalk.com/robot/send?access_token=xxx" // http_method => "post" // format => "json" // mapping => { // "msgtype" => "text" // "text" => { "content" => "【告警】%{app} %{message}" } // } // } // } // elasticsearch { // hosts => ["es-cluster:9200"] // index => "log-%{app}-%{+YYYY.MM.dd}" // } // } ``` **设计取舍:** 实时告警只给 ERROR,是因为 WARN/INFO 的量级大得多,逐条告警会造成告警疲劳(alert fatigue,指告警过多导致人不看告警);WARN 用"聚合后告警"(比如 5 分钟内同类警告超过阈值才报)来平衡灵敏度与噪声。注意 webhook 里的 `access_token` 属于凭证,代码库中应替换为占位符并做脱敏,不要提交真实值。 ### Q:ES 索引怎么优化?为什么按天分索引? A:核心是"按时间切分 + 生命周期管理"。按天建索引,删除过期数据就能整索引删除(代价极低),而不是逐条 delete: ``` # 按天创建索引,方便过期清理 log-order-service-2024.01.15 log-order-service-2024.01.16 # ILM(Index Lifecycle Management)自动管理 Hot 阶段(0~3 天):SSD 存储,副本数 1 Warm 阶段(3~7 天):HDD 存储,只读 Delete 阶段(>30 天):自动删除 ``` **为什么这么分层?** 因为日志的访问热度随时间急剧衰减——最近几天要频繁查询(Hot,用贵但快的 SSD),过几天基本只归档备查(Warm,用便宜的 HDD 且设为只读、禁止写入),超过 30 天直接删除。ILM 让这个过程自动化,避免人工干预和磁盘被写满。索引名里带 `%{app}`(如 `log-order-service-...`)还能把不同应用的日志物理隔离,查询更聚焦。 ## 三、放进真实场景 ### Q:为什么要加 Kafka,不直接 Filebeat → ES? A:三个层次的理由: 1. **削峰**:日志洪峰时 Kafka 缓冲,避免打垮 ES——ES 写入是有资源上限的,瞬时暴量会让它拒绝服务甚至雪崩。 2. **解耦**:同一份日志可以同时给 ES(查询)、Flink(实时分析)、HDFS(离线分析),消费方各自按需读取,互不影响。 3. **可靠性**:Kafka 持久化消息,Logstash 挂了日志不丢,恢复后继续消费。 代价是链路多了一跳、运维多了一个 Kafka 集群,并且日志的端到端延迟从"秒级"变成"秒级到十秒级"。**这个代价换来的可用性通常非常值得**——日志系统本身不能成为拖垮线上服务的那一环。 ### Q:生产环境用 SkyWalking / Zipkin 这类 APM 工具,和自建日志系统是什么关系? A:互补关系,不是替代关系。APM 工具(SkyWalking)侧重链路追踪和性能监控(调用链、耗时、拓扑图),ELK 侧重日志的全文检索和分析。**一个回答"这个请求慢在哪一步",另一个回答"这个请求当时打印了什么"。** 通常两者都部署,通过 traceId 关联:先从 APM 看到某条慢调用链,拿到 traceId,再去 ELK 里捞出这条链路上的全部日志细节。 ### Q:日均 10 亿条日志,查询响应 < 3 秒,靠什么支撑? A:这是需求里的硬指标,靠的是一组组合拳,而不是某一个组件: - **写入侧**:Filebeat 铺满业务机器 + Kafka 削峰,让采集不拖慢业务、日志不丢。 - **存储侧**:ES 按天(必要时再按应用)分索引,把大索引拆成可并行、可独立淘汰的小索引。 - **检索侧**:traceId、level、时间等高频过滤字段做结构化索引,避免全量扫描;查询时尽量带上时间范围,让 ES 只命中少数分片。 - **生命周期**:用 ILM 把冷数据下沉到廉价存储或删除,控制集群规模。 具体能扛多少量取决于 ES 集群规模、分片数、副本数和硬件配置,**不存在放之四海皆准的数字**,需要在压测中结合版本与容量规划确认。 ## 四、总结与自测 ### Q:面试里怎么答这道题? A:分四点作答: 1. **架构**:Filebeat 采集 → Kafka 缓冲 → Logstash 解析 → ES 存储 → Kibana 查询。 2. **链路追踪**:网关生成 traceId → MDC 存储 → Feign 拦截器跨服务传递 → 日志中自动携带 traceId。 3. **日志规范**:JSON 格式方便 ES 索引,包含 traceId、app、env、host 等字段。 4. **性能优化**:Kafka 削峰、ES 按天分索引 + ILM 生命周期管理、ERROR 日志实时告警。 ### Q:这套设计的主线可以怎么复述? A:一句话串起来——**采集要轻(Filebeat)、传输要能扛峰(Kafka)、存储要能按时间淘汰(ES 分索引 + ILM)、排查要能串联(traceId 贯穿 MDC 与跨服务/跨线程传递)。** traceId 是这道题的灵魂:没有它,日志再多也只是散落的文本。 --- ## 自测 1. 需求里的"链路追踪"和"海量数据"分别对应架构中的哪些组件? 2. 如果没有 Kafka,日志洪峰时 ES 会发生什么?Kafka 具体缓解了哪个环节的压力? 3. MDC 为什么要在线程结束时 `MDC.clear()`?不清理会出现什么现象? 4. 跨线程池任务传递 traceId 时,MDC 为什么会丢?`TaskDecorator` 是怎么解决的? 5. 为什么日志要按天分索引,而不是把所有日志写进一个大索引? 6. ES 的 Hot / Warm / Delete 三个阶段分别用不同存储介质,依据是什么? 7. ELK 和 SkyWalking 这类 APM 的分工是什么?它们靠什么字段关联起来?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入