知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 29 - 搜索功能设计 > 导读:读完你能讲清一套电商商品搜索的数据链路、ES 倒排索引与 IK 分词、相关性排序的加权方式,以及 MySQL 到 ES 的同步策略。适合准备系统设计面试或需要落地搜索模块的后端同学。 ## 一、先建立全局认知 ### Q:这套搜索要解决什么问题,难点在哪? A:需求是电商平台的商品搜索:用户输入"红色连衣裙",要能搜到"红色 夏季 连衣裙 女装"等相关商品。四个硬需求是:支持中文分词、相关性排序、搜索建议(输入联想)、拼写纠错。 难点主要有两个:一是中文没有天然空格,必须靠分词器切词;二是搜索系统与业务库(MySQL)是两套存储,如何保证数据同步、最终一致。因此整体要设计"写链路(同步)"和"读链路(查询)"两条通路。 术语先行: - 倒排索引(Inverted Index):以"词项 → 包含该词的文档列表"建索引,是全文搜索的核心结构。 - 分词器(Analyzer):把一段文本切成词项(Token)的组件,中文常用 IK 分词器。 - 相关性排序:按查询与文档的匹配程度打分排序,而非按某个字段排序。 ### Q:整体架构和数据流是怎样的? A:写链路走 MySQL → Canal/MQ → ES,读链路走用户 → ES → 回源补全。ES 只存可检索字段和商品 ID,详情仍由 MySQL/缓存提供:  *图:搜索请求链路、索引同步与数据流* ``` 用户搜索 → 网关 → 搜索服务 → Elasticsearch ↑ 商品服务 → MQ → 索引同步服务 → Elasticsearch(数据同步) 数据流: 写入:MySQL(主数据)→ Canal/MQ → ES(搜索索引) 查询:用户 → ES(搜索)→ 返回商品 ID 列表 → 查 MySQL/缓存补全详情 ``` 为什么要拆成"ES 出 ID + 回源补全":ES 适合做检索但不适合当权威存储,商品的完整详情、价格、库存仍以 MySQL 为准,可以避免双写详情导致的数据不一致和索引膨胀。 ---  [编辑 Excalidraw 源图](/images/java-interview-copy/system-design/29-design-search-design-search-data-sync-and-query-diagram.excalidraw) ## 二、理解核心机制 ### Q:ES 为什么能搜得这么快? A:靠倒排索引。正排索引是"文档 ID → 内容",倒排索引反过来,是"词项 → 文档 ID 列表",搜索时把关键词的文档列表取交集即可:  *图:正排与倒排索引及「红色连衣裙」检索* ``` 正排索引(MySQL):文档 ID → 文档内容 doc1 → "红色夏季连衣裙女装" doc2 → "蓝色冬季羽绒服男装" 倒排索引(ES):词项 → 文档 ID 列表 "红色" → [doc1] "夏季" → [doc1] "连衣裙" → [doc1] "蓝色" → [doc2] "女装" → [doc1] 搜索"红色连衣裙": 分词 → "红色" + "连衣裙" "红色" → [doc1] "连衣裙" → [doc1] 取交集 → [doc1] ✓ ``` 代价是索引本身占空间,且写索引比写普通数据库重——所以商品更新到能搜到之间有同步延迟。 ### Q:索引(Mapping)怎么设计? A:要点是"文本字段用 IK 分词配拼音,枚举字段用 keyword"。下面是商品索引的 Mapping: ```json // 商品索引 Mapping PUT /products { "settings": { "analysis": { "analyzer": { "ik_smart_pinyin": { "type": "custom", "tokenizer": "ik_max_word", "filter": ["lowercase", "pinyin_filter"] } }, "filter": { "pinyin_filter": { "type": "pinyin", "keep_full_pinyin": false, "keep_joined_full_pinyin": true, "keep_original": true } } } }, "mappings": { "properties": { "id": { "type": "long" }, "title": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_smart" }, "category": { "type": "keyword" }, "brand": { "type": "keyword" }, "price": { "type": "double" }, "sales": { "type": "integer" }, "tags": { "type": "keyword" }, "create_time": { "type": "date" }, "suggest": { "type": "completion", "analyzer": "ik_smart_pinyin" } } } } ``` 设计取舍:`category`、`brand`、`tags` 用 `keyword`(不分词,精确过滤/聚合);`title` 用 `text` 且索引与检索用不同粒度分词器;`suggest` 用 `completion` 类型专门服务输入联想。注意 `completion` 使用的 `ik_smart_pinyin` 是上面自定义的"IK + 拼音"分析器。 ### Q:ik_max_word 和 ik_smart 有什么区别,为什么索引和检索要用不同的? A:两者是 IK 的两种切分粒度,用途不同: **ik_max_word vs ik_smart**: - `ik_max_word`:最细粒度分词,索引时用("中华人民共和国" → "中华人民共和国/中华人民/中华/华人/人民共和国/人民/共和国/共和/国") - `ik_smart`:最粗粒度分词,搜索时用("中华人民共和国" → "中华人民共和国") 这是经典的"索引细、搜索粗"搭配:索引时切得越细,能命中的词项越多,召回率越高;搜索时切得粗,减少无意义的碎片词干扰,提高准确率。 ## 三、放进真实场景 ### Q:一次搜索查询具体怎么构建? A:用 bool query 把"关键词匹配"和"过滤条件"分开——`must` 参与打分,`filter` 不参与打分且可缓存: ```java public SearchResult search(SearchRequest req) { // 构建 ES 查询 BoolQueryBuilder boolQuery = QueryBuilders.boolQuery(); // 1. 关键词搜索(多字段匹配) boolQuery.must(QueryBuilders.multiMatchQuery(req.getKeyword(), "title", "brand", "tags") .type(MultiMatchQueryBuilder.Type.BEST_FIELDS) .analyzer("ik_smart")); // 2. 过滤条件(不参与评分,可缓存) if (req.getCategory() != null) { boolQuery.filter(QueryBuilders.termQuery("category", req.getCategory())); } if (req.getMinPrice() != null || req.getMaxPrice() != null) { RangeQueryBuilder range = QueryBuilders.rangeQuery("price"); if (req.getMinPrice() != null) range.gte(req.getMinPrice()); if (req.getMaxPrice() != null) range.lte(req.getMaxPrice()); boolQuery.filter(range); } // 3. 排序 SearchSourceBuilder source = new SearchSourceBuilder().query(boolQuery); switch (req.getSortBy()) { case "price_asc": source.sort("price", SortOrder.ASC); break; case "price_desc": source.sort("price", SortOrder.DESC); break; case "sales": source.sort("sales", SortOrder.DESC); break; default: source.sort("_score", SortOrder.DESC); break; // 默认相关性排序 } // 4. 分页 source.from(req.getPage() * req.getSize()).size(req.getSize()); // 5. 高亮 source.highlighter(new HighlightBuilder() .field("title") .preTags("<em>") .postTags("</em>")); // 执行查询 org.elasticsearch.action.search.SearchRequest esReq = new org.elasticsearch.action.search.SearchRequest("products").source(source); SearchResponse response = esClient.search(esReq, RequestOptions.DEFAULT); return parseResponse(response); } ``` 为什么过滤放 `filter` 而不是 `must`:过滤条件与相关性无关,放 `filter` 既不打分又能命中 filter cache,性能更好。 ### Q:相关性排序怎么做,光靠文本匹配够吗? A:不够。纯文本相关性会把"卖得好的爆款"排在后面,所以用 `function_score` 把文本相关性、销量、上架时间综合起来: ```json // 自定义评分:综合相关性 + 销量 + 新品加权 { "query": { "function_score": { "query": { "multi_match": { "query": "红色连衣裙", "fields": ["title^3", "brand^2", "tags"] } }, "functions": [ { "field_value_factor": { "field": "sales", "modifier": "log1p", "factor": 0.1 } }, { "gauss": { "create_time": { "origin": "now", "scale": "30d", "decay": 0.5 } } } ], "score_mode": "sum", "boost_mode": "multiply" } } } ``` ``` 评分公式:最终得分 = 文本相关性 × (1 + log(1 + 0.1 × sales)) × 时间衰减因子 title^3:标题匹配权重最高 sales log1p:销量越高分越高,但用对数避免销量差距过大 gauss 时间衰减:30 天内的新品有加分 ``` 每个函数的用意:`title^3` / `brand^2` 是字段权重,标题命中比标签命中更重要;`log1p` 压平销量的长尾差距,避免销量主导一切;`gauss` 让新品随时间平滑衰减。这套权重是业务可调的,需要根据实际转化数据迭代。 ### Q:搜索建议(输入联想)怎么实现? A:用 ES 的 Completion Suggester,底层是 FST(有限状态转换器),比通配符查询快得多: ```java // 使用 ES Completion Suggester public List<String> suggest(String prefix) { SuggestBuilder suggestBuilder = new SuggestBuilder() .addSuggestion("product-suggest", SuggestBuilders.completionSuggestion("suggest") .prefix(prefix) .size(10) .skipDuplicates(true)); SearchSourceBuilder source = new SearchSourceBuilder().suggest(suggestBuilder); org.elasticsearch.action.search.SearchRequest req = new org.elasticsearch.action.search.SearchRequest("products").source(source); SearchResponse response = esClient.search(req, RequestOptions.DEFAULT); // 解析建议结果 List<String> suggestions = new ArrayList<>(); response.getSuggest().getSuggestion("product-suggest") .forEach(entry -> entry.getOptions() .forEach(option -> suggestions.add(option.getText().string()))); return suggestions; } ``` 它依赖 Mapping 里 `suggest` 字段的 `completion` 类型和拼音分析器,所以中文和拼音输入都能联想。 ### Q:MySQL 和 ES 的数据怎么同步? A:三种方案可选,推荐基于 binlog 的 Canal + MQ: ```java // 方案一:Canal 监听 MySQL binlog → MQ → ES(推荐) // 方案二:业务代码双写(MySQL + ES) // 方案三:定时全量/增量同步 // Canal + MQ 方案 @RocketMQMessageListener(topic = "canal-product-topic") public class ProductSyncConsumer implements RocketMQListener<CanalMessage> { public void onMessage(CanalMessage msg) { switch (msg.getType()) { case "INSERT": case "UPDATE": Product product = parseProduct(msg.getData()); esClient.index(buildIndexRequest(product), RequestOptions.DEFAULT); break; case "DELETE": esClient.delete(new DeleteRequest("products", msg.getId()), RequestOptions.DEFAULT); break; } } } ``` 三种方案的取舍: - **Canal + MQ**:业务代码零侵入,与业务解耦;代价是引入 Canal 组件、链路变长、有延迟。 - **业务双写**:实现简单、延迟低;代价是耦合业务、一致性难保证、失败需补偿。 - **定时同步**:实现最简单;代价是实时性最差,只适合对时效不敏感的场景。 ### Q:ES 和 MySQL 数据不一致怎么办? A:① 定时全量对账任务,比对 MySQL 和 ES 数据差异并修复;② Canal 消费失败时进入重试队列;③ 提供手动重建索引接口,紧急情况下全量重建。 ### Q:搜索结果太多,如何做深分页? A:ES 默认 `from + size` 不能超过 10000。深分页用 `search_after`(游标分页),每次带上上一页最后一条的排序值,避免深度翻页的性能问题。 ## 四、总结与自测 ### Q:面试里怎么答这道题? A:分四点作答: 1. 核心原理:ES 倒排索引实现全文检索,中文用 IK 分词器 2. 索引设计:索引时用 `ik_max_word`(细粒度),搜索时用 `ik_smart`(粗粒度) 3. 相关性排序:`function_score` 综合文本相关性、销量、时间衰减 4. 数据同步:Canal 监听 binlog → MQ → ES,保证 MySQL 和 ES 数据最终一致 ### Q:这套搜索设计最需要强调的取舍是什么? A:三组取舍必须能说清:**索引细 vs 搜索粗**(Ik_max_word 保召回、ik_smart 保准确);**must vs filter**(相关性字段打分、枚举/范围条件缓存);**同步方案**(Canal 解耦但链路长,双写简单但耦合)。记住 ES 只当检索层、MySQL 才是权威数据的定位。 --- ## 自测 1. 倒排索引和 MySQL 正排索引的本质区别是什么?为什么搜索取交集就能命中? 2. 为什么索引时用 `ik_max_word`、搜索时用 `ik_smart`? 3. `category`、`brand` 为什么用 `keyword` 而不是 `text`? 4. `function_score` 里为什么用 `log1p` 而不是直接用销量? 5. Canal、双写、定时同步三种同步方案各自的代价是什么?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入