大网数据广告活动
数据库部署与 SQL 参考

StarRocks 中文参考:Sorted streaming aggregate

· 52CE 我爱测

Sorted streaming aggregate 可以根据输入 key 的有序性,通过直接比较 GROUP BY 列的方式直接进行分组,不需要构建 hash 表,可以有效的减少聚合计算中的内存使用。在聚合基数比较高的情况下,可以提升聚合性能,降低内存使用。

Sorted streaming aggregate

数据库常见的聚合方法有 Hash 聚合和排序聚合。

从 2.5 版本开始,StarRocks 支持了有序的排序聚合 (Sorted streaming aggregate)。

原理

聚合节点主要处理 GROUP BY 分组和聚合函数计算。

Sorted streaming aggregate 可以根据输入 key 的有序性,通过直接比较 GROUP BY 列的方式直接进行分组,不需要构建 hash 表,可以有效的减少聚合计算中的内存使用。在聚合基数比较高的情况下,可以提升聚合性能,降低内存使用。

您可以通过设置变量来开启 Sorted streaming aggregate:

set enable_sort_aggregate=true;

使用限制

  • StarRocks 存算分离集群不支持 sorted streaming aggregate。
  • GROUP BY 里的 key 需要是做好排序的: 比如表的排序列是 k1,k2,k3,那么:
    • GROUP BY k1 和 GROUP BY k1, k2 是可以的。
    • GROUP BY k1, k3 是不能保证排序的,所以 Sorted streaming aggregate 无法生效。
  • 选择的分区只能是一个分区 (因为不同分区中同一个 key 可能分布在不同机器上)。
  • GROUP BY 中的 key 需要和建表时指定的分桶键的分布顺序一致。 比如同样有三列数据 k1,k2,k3,可以让数据根据 k1 或者 k1,k2 进行分桶。
    • 如果根据 k1 进行分桶,支持 GROUP BY k1,GROUP BY k1, k2,GROUP BY k1,k2,k3。
    • 如果根据 k1,k2 进行分桶,支持 GROUP BY k1,k2,GROUP BY k1,k2,k3。
    • 对于不符合条件的查询 plan,即使开启了 enable_sort_aggregate,sorted streaming aggregate 也无法生效。
  • 必须是一阶段聚合(即 AGG 节点下面只连接一个 Scan node)。

使用示例

  1. 建表并插入数据。

    CREATE TABLE `test_sorted_streaming_agg_basic`
    (
        `id_int` int(11) NOT NULL COMMENT "",
        `id_string` varchar(100) NOT NULL COMMENT ""
    )
    ENGINE=OLAP 
    DUPLICATE KEY(`id_int`)
    COMMENT "OLAP"
    DISTRIBUTED BY HASH(`id_int`)
    PROPERTIES (
    "replication_num" = "3"
    ); 
    
    INSERT INTO test_sorted_streaming_agg_basic VALUES
    (1, 'v1'),
    (2, 'v2'),
    (3, 'v3'),
    (1, 'v4');
    
  2. 开启 Sorted streaming aggregate。使用 EXPLAIN 查看。

    set enable_sort_aggregate = true;
    
    explain costs select id_int, max(id_string)
    from test_sorted_streaming_agg_basic
    group by id_int;
    

判断是否开启

查看 Explain costs 的结果。如果可以从 AGG 节点中找到 sorted streaming 字段,证明已开启。

|                                                                                                                                    |
|   1:AGGREGATE (update finalize)                                                                                                    |
|   |  aggregate: max[([2: id_string, VARCHAR, false]); args: VARCHAR; result: VARCHAR; args nullable: false; result nullable: true] |
|   |  group by: [1: id_int, INT, false]                                                                                             |
|   |  sorted streaming: true                                                                                                        |
|   |  cardinality: 1                                                                                                                |
|   |  column statistics:                                                                                                            |
|   |  * id_int-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                       |
|   |  * max-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                          |
|   |                                                                                                                                |
|   0:OlapScanNode                                                                                                                   |
|      table: test_sorted_streaming_agg_basic, rollup: test_sorted_streaming_agg_basic                                               |
|      preAggregation: on                                                                                                            |
|      partitionsRatio=1/1, tabletsRatio=10/10                                                                                       |
|      tabletList=30672,30674,30676,30678,30680,30682,30684,30686,30688,30690                                                        |
|      actualRows=0, avgRowSize=2.0                                                                                                  |
|      cardinality: 1                                                                                                                |
|      column statistics:                                                                                                            |
|      * id_int-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                       |
|      * id_string-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                    |

本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
StarRocks 文档贡献者
适用范围
main 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。