知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 04 - 聚合分析 ## 聚合概述 聚合(Aggregation)是 ES 的分析功能,类似 SQL 中的 GROUP BY + 聚合函数。 ``` 聚合的三大类型: 1. Bucket Aggregation(桶聚合) 类似 SQL 的 GROUP BY,将文档分组到不同的桶中 2. Metric Aggregation(指标聚合) 类似 SQL 的 COUNT / SUM / AVG,对文档字段做数值计算 3. Pipeline Aggregation(管道聚合) 对其他聚合的结果做二次处理 ``` ## Bucket 聚合(分桶) ### Terms Aggregation(词项分桶) 最常用的聚合,按字段值分组。 ```json { "aggs": { "category_stats": { "terms": { "field": "category", "size": 10 } } } } // 返回每个分类下的文档数量(类似 SELECT category, COUNT(*) GROUP BY category) ``` ``` Terms 聚合的准确性: ES 的 Terms 聚合是近似准确的(默认有误差)! 原因: 协调节点向每个分片请求 Top N 个 term 及其计数 每个分片返回本地 Top N,协调节点汇总后再取最终 Top N 示例: 真实 Top 3: A(500), B(400), C(300) Shard 1: A(300), B(200), D(100) ← C 在分片 1 只有 90,没进入 Top 3 Shard 2: A(200), B(200), C(210) 协调节点汇总: A(500), B(400), C(210) ← 没问题,A 和 B 都在各分片 Top 3 内 (但如果 C 在分片 1 也只有 50,汇总后 C 只有 260,可能被遗漏) 提高准确性: "size": 20 → 增加每个分片返回的 term 数,减少遗漏 "shard_size": 100 → 每个分片返回更多 term,汇总更准(但性能损耗更大) ``` ### Range Aggregation(范围分桶) ```json { "aggs": { "price_ranges": { "range": { "field": "price", "ranges": [ {"to": 1000}, {"from": 1000, "to": 3000}, {"from": 3000, "to": 5000}, {"from": 5000} ] } } } } // 按价格区间分组 ``` ### Date Histogram Aggregation(日期直方图) 时间序列分析的核心聚合。 ```json { "aggs": { "sales_over_time": { "date_histogram": { "field": "create_time", "calendar_interval": "1d", "format": "yyyy-MM-dd" } } } } // 按天统计文档数量 ``` ``` 支持的间隔: fixed_interval: 1m, 1h, 1d (固定长度,推荐) calendar_interval: 1d, 1w, 1M, 1q, 1y (日历感知,月有长短) ``` ## Metric 聚合(指标计算) ### 基础指标 ```json { "aggs": { "avg_price": {"avg": {"field": "price"}}, "max_price": {"max": {"field": "price"}}, "min_price": {"min": {"field": "price"}}, "sum_price": {"sum": {"field": "price"}}, "count": {"value_count": {"field": "price"}} } } ``` ### Stats 聚合(多指标一次返回) ```json { "aggs": { "price_stats": { "stats": {"field": "price"} } } } // 一次返回: count, min, max, avg, sum ``` ### Cardinality 聚合(去重计数) ```json { "aggs": { "unique_visitors": { "cardinality": { "field": "user_id" } } } } // 类似 SQL 的 COUNT(DISTINCT user_id) ``` ``` Cardinality 聚合是近似算法(HyperLogLog++) 默认误差约 0-3% 内存占用非常小 设置 precision_threshold 可提升精确度(上限 40000) 精确去重 vs 近似去重: terms agg + bucket count → 精确,但内存开销大 cardinality agg → 近似,内存开销小 ``` ### Percentiles 聚合(百分位数) ```json { "aggs": { "latency_percentiles": { "percentiles": { "field": "response_time", "percents": [50, 90, 95, 99] } } } } // 返回 P50, P90, P95, P99 的响应时间 ``` ## 嵌套聚合 聚合可以任意嵌套组合,实现复杂分析。 ```json { "size": 0, "aggs": { "by_category": { "terms": {"field": "category"}, "aggs": { "avg_price": {"avg": {"field": "price"}}, "by_brand": { "terms": {"field": "brand"}, "aggs": { "top_hits": { "top_hits": { "size": 1, "sort": [{"sales": "desc"}] } } } } } } } } ``` ``` 结果结构: by_category(桶聚合) ← 第一层:按分类分组 ├── avg_price(指标聚合) ← 每个分类的平均价格 └── by_brand(桶聚合) ← 第二层:每个分类下按品牌分组 └── top_hits(top_hits) ← 第三层:每个品牌下销量最高的商品 ``` ``` size: 0 的含义: 聚合查询如果不关心文档内容,设 size: 0 只返回聚合结果 可以显著提升性能(不返回 hits,减少数据传输) ``` ## Pipeline 聚合(管道聚合) 对其他聚合结果做二次处理,类似 SQL 的子查询 / 窗口函数。 ``` 常见 Pipeline 聚合: derivative(导数) — 相邻桶的差值(环比增长) moving_avg(移动平均) — 平滑时间序列 cumulative_sum(累计和)— 累计增长 bucket_script(桶脚本) — 自定义计算公式 ``` ```json { "size": 0, "aggs": { "sales_per_day": { "date_histogram": {"field": "date", "calendar_interval": "1d"}, "aggs": { "total_sales": {"sum": {"field": "amount"}}, "sales_growth": { "derivative": { "buckets_path": "total_sales" } } } } } } // sales_growth = 当日销售额 - 前一日销售额(环比增长) ``` ## 聚合 vs 查询 ``` 查询(query): - 解决的是"哪些文档匹配条件" - 返回匹配的文档列表 - 过滤缩小搜索范围 聚合(aggregation): - 解决的是"数据如何分布和统计" - 返回统计结果,不返回原始文档 - 对搜索范围内的文档做分析 两者可以组合: query 先过滤范围 → aggs 在过滤后的文档上做统计 ``` ## 面试常见问题 **Q:Bucket 聚合和 Metric 聚合的区别?** A:Bucket 聚合是"分桶"(如按分类分组),类似 GROUP BY;Metric 聚合是"算值"(如求平均值),类似 COUNT/SUM/AVG。两者通常是嵌套关系:先分桶,再在每个桶里计算指标。 **Q:ES 的 Terms 聚合为什么不是精确的?** A:因为每个分片只返回本地 Top N 给协调节点汇总,可能导致某些全局 Top 的 term 被遗漏。增大 shard_size 可以提升准确性,但会牺牲性能。在数据量不大的情况下,可以调整 shard_size >= 实际唯一值数量来达到精确。 **Q:Cardinality 聚合和 Terms 聚合去重哪个更好?** A:Cardinality 是近似算法(HyperLogLog++),误差 0-3%,内存占用小;Terms 是精确的去重计数,但内存开销大。对精确性不敏感的统计类场景(UV 统计等)用 Cardinality,对精确性要求高的用 Terms + bucket count。 --- 下一篇:[05 - 数据建模与 Mapping](./05-data-modeling.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入