大网数据广告活动
数据库部署与 SQL 参考

StarRocks 中文参考:SQL Digest

· 52CE 我爱测

SQL Digest 是指将用户 SQL 语句中的参数去除后生成的指纹,用于将结构相同但参数不同的 SQL 聚类。常见的使用场景包括:

SQL Digest

本文介绍 StarRocks 的 SQL Digest 功能。该功能从 v3.3.6 开始支持。

概述

SQL Digest 是指将用户 SQL 语句中的参数去除后生成的指纹,用于将结构相同但参数不同的 SQL 聚类。常见的使用场景包括:

  • 查找查询历史中结构相同但参数不同的其他 SQL
  • 统计相同结构的 SQL 执行频次、累积耗时等信息
  • 分析系统中耗时最高的 SQL 类型

在 StarRocks 中,SQL Digest 主要通过审计日志 fe.audit.log 记录。例如,执行以下两条 SQL 语句:

SELECT count(*) FROM lineorder WHERE lo_orderdate > '19920101';
SELECT count(*) FROM lineorder WHERE lo_orderdate > '19920202';

在 fe.audit.log 中将会生成相同的 Digest。

Digest=f58bb71850d112014f773717830e7f77
Digest=f58bb71850d112014f773717830e7f77

使用方法

您需要通过设置FE配置项 enable_sql_digest 为 true 来启用 SQL Digest 功能。

您可以通过以下命令动态启用此功能:

ADMIN SET FRONTEND CONFIG ("enable_sql_digest" = "true");

要永久启用此功能,需在 FE 配置文件 fe.conf 中添加 enable_sql_digest = true 并重启 FE。

启用后,可借助 AuditLoader 插件对 SQL 进行统计和分析。

查询相似 SQL

SELECT * FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest = '<Digest>'
LIMIT 1;

统计相似 SQL 每日执行次数和耗时

SELECT 
    date_trunc('day', `timestamp`) query_date, 
    count(*), 
    sum(queryTime), 
    sum(scanRows), 
    sum(cpuCostNs), 
    sum(memCostBytes)
FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest = '<Digest>'
GROUP BY query_date
ORDER BY query_date 
DESC LIMIT 30;

统计相似 SQL 的平均执行耗时

SELECT avg(queryTime), min(queryTime), max(queryTime), stddev(queryTime)
FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest = '<Digest>';

聚合相似 SQL,分析耗时最高的 SQL 类型

WITH top_sql AS (
    SELECT digest, sum(queryTime)
    FROM starrocks_audit_db__.starrocks_audit_tbl__ 
    GROUP BY digest
    ORDER BY sum(queryTime) 
    DESC LIMIT 10 
)
SELECT * FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest IN (SELECT digest FROM top_sql);

参数化规则

  • SQL 中的常量值会被归一化。例如,包含 WHERE a = 1 和 WHERE a = 2 的相同类型 SQL 会生成相同的 Digest。
  • 对于 IN 谓词会进行归一化。例如,包含 IN (1,2,3) 和 IN (1,2) 的相同类型 SQL 会生成相同的 Digest。
  • 对于 LIMIT N 会进行归一化。例如,包含 LIMIT 10 和 LIMIT 30 的相同类型 SQL 会生成相同的 Digest。

本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
StarRocks 文档贡献者
适用范围
main 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。