指标 i 到 p
物化视图和存算分离集群的指标在相应章节中详细说明:
有关如何为 StarRocks 集群构建监控服务的更多信息,请参阅 监控与告警。
iceberg_delete_bytes
- 单位:字节
- 类型:累积
- 标签:
delete_type(position或metadata) - 描述:Iceberg
DELETE任务删除的总字节数。对于metadata删除,这表示已删除数据文件的大小。对于position删除,这表示创建的位置删除文件的大小。
iceberg_delete_duration_ms_total
- 单位:毫秒
- 类型:累积
- 标签:
delete_type(position或metadata) - 描述:Iceberg
DELETE任务的总执行时间(毫秒)。每个任务的持续时间在其结束后添加。delete_type区分两种删除方法。
iceberg_delete_rows
- 单位:行
- 类型:累积
- 标签:
delete_type(position或metadata) - 描述:Iceberg
DELETE任务删除的总行数。对于metadata删除,这表示已删除数据文件中的行数。对于position删除,这表示创建的位置删除数。
iceberg_delete_total
- 单位:计数
- 类型:累积
- 标签:
status(success或failed)reason(none、timeout、oom、access_denied、unknown)delete_type(position或metadata)
- 描述:针对 Iceberg 表的
DELETE任务总数。无论任务成功或失败,每当任务结束时,该指标都会增加 1。delete_type区分两种删除方法:position(生成位置删除文件)和metadata(元数据级别删除)。
iceberg_compaction_duration_ms_total
- 单位:毫秒
- 类型:累积
- 标签:
compaction_type(manual或auto) - 描述:运行 Iceberg 压缩任务的总耗时。
iceberg_compaction_input_files_total
- 单位:计数
- 类型:累积
- 标签:
compaction_type(manual或auto) - 描述:Iceberg 压缩任务读取的数据文件总数。
iceberg_compaction_output_files_total
- 单位:计数
- 类型:累积
- 标签:
compaction_type(manual或auto) - 描述:Iceberg 压缩任务生成的数据文件总数。
iceberg_compaction_removed_delete_files_total
- 单位:计数
- 类型:累积
- 标签:
compaction_type(manual或auto) - 描述:Iceberg 手动压缩任务删除的删除文件总数。
iceberg_compaction_total
- 单位:计数
- 类型:累积
- 标签:
compaction_type(manual或auto) - 描述:Iceberg 压缩 (
rewrite_data_files) 任务的总数。
iceberg_merge_bytes
- 单位:字节
- 类型:累积
- 标签:
file_type(data或position_delete) - 描述:Iceberg
MERGE INTO任务写入的总字节数,按文件类型拆分。data表示新数据文件(更新后的行和插入的行)的大小;position_delete表示标记被命中旧行的位置删除文件大小。
iceberg_merge_duration_ms_total
- 单位:毫秒
- 类型:累积
- 描述:Iceberg
MERGE INTO任务的总执行时间(毫秒)。每个任务的耗时在其结束后累加。
iceberg_merge_files
- 单位:计数
- 类型:累积
- 标签:
file_type(data或position_delete) - 描述:Iceberg
MERGE INTO任务写入的文件总数,按文件类型拆分。data统计新数据文件个数,position_delete统计位置删除文件个数。
iceberg_merge_rows
- 单位:行
- 类型:累积
- 标签:
file_type(data或position_delete) - 描述:Iceberg
MERGE INTO任务处理的总行数,按文件类型拆分。position_delete统计被 UPDATE 或 DELETE 命中的目标行(写为位置删除);data统计写入的数据行(更新的行加上插入的行)。
iceberg_merge_total
- 单位:计数
- 类型:累积
- 标签:
status(success或failed)reason(none、timeout、oom、access_denied、unknown)
- 描述:目标表为 Iceberg 的
MERGE INTO任务总数。无论任务成功还是失败,每当任务结束时该指标都会加 1。Iceberg MERGE INTO 采用 V2 Merge-On-Read 模型,在单个 snapshot 中原子写入数据文件和位置删除文件。
iceberg_metadata_table_query_total
- 单位:计数
- 类型:累积
- 标签:
metadata_table(refs、history、metadata_log_entries、snapshots、manifests、files、partitions或properties) - 描述:访问 Iceberg 元数据表的 SQL 查询总数。每个查询都计入标识所访问元数据表的
metadata_table标签下。
iceberg_time_travel_query_total
- 单位:计数
- 类型:累积
- 标签:
time_travel_type(branch、tag、snapshot或timestamp) 用于分类系列。 - 描述:Iceberg 时间旅行查询总数。未标记的系列对每个时间旅行查询计数一次。标记的系列对查询使用的每种不同时间旅行类型计数。
snapshot表示FOR VERSION AS OF <snapshot_id>,branch和tag表示FOR VERSION AS OF <reference_name>,timestamp表示FOR TIMESTAMP AS OF ...。
iceberg_update_bytes
- 单位:字节
- 类型:累积
- 标签:
file_type(data或position_delete) - 描述:Iceberg
UPDATE任务写入的总字节数,按文件类型拆分。data表示包含更新后新行的数据文件大小;position_delete表示标记被更新旧行的位置删除文件大小。
iceberg_update_duration_ms_total
- 单位:毫秒
- 类型:累积
- 描述:Iceberg
UPDATE任务的总执行时间(毫秒)。每个任务的耗时在其结束后累加。
iceberg_update_files
- 单位:计数
- 类型:累积
- 标签:
file_type(data或position_delete) - 描述:Iceberg
UPDATE任务写入的文件总数,按文件类型拆分。data统计新数据文件个数,position_delete统计位置删除文件个数。
iceberg_update_rows
- 单位:行
- 类型:累积
- 描述:Iceberg
UPDATE任务影响的总行数。每行仅计一次,不会因为生成多个文件而重复计数。
iceberg_update_total
- 单位:计数
- 类型:累积
- 标签:
status(success或failed)reason(none、timeout、oom、access_denied、unknown)
- 描述:目标表为 Iceberg 的
UPDATE任务总数。无论任务成功还是失败,每当任务结束时该指标都会加 1。Iceberg UPDATE 采用 V2 Merge-On-Read 模型,在单个 snapshot 中原子写入数据文件和位置删除文件。
iceberg_write_bytes
- 单位:字节
- 类型:累积
- 标签:
write_type(insert、overwrite或ctas) - 描述:Iceberg 写入任务 (
INSERT、INSERT OVERWRITE、CTAS) 写入的总字节数。这表示写入 Iceberg 表的数据文件的总大小。write_type区分操作类型。
iceberg_write_duration_ms_total
- 单位:毫秒
- 类型:累积
- 标签:
write_type(insert、overwrite或ctas) - 描述:Iceberg 写入任务 (
INSERT、INSERT OVERWRITE、CTAS) 的总执行时间(毫秒)。每个任务的持续时间在其结束后累加。write_type区分操作类型。
iceberg_write_files
- 单位:计数
- 类型:累积
- 标签:
write_type(insert、overwrite或ctas) - 描述:Iceberg 写入任务 (
INSERT、INSERT OVERWRITE、CTAS) 写入的数据文件总数。这表示写入 Iceberg 表的数据文件计数。write_type区分操作类型。
iceberg_write_rows
- 单位:行
- 类型:累积
- 标签:
write_type(insert、overwrite或ctas) - 描述:Iceberg 写入任务 (
INSERT、INSERT OVERWRITE、CTAS) 写入的总行数。这表示写入 Iceberg 表的行数。write_type区分操作类型。
iceberg_write_total
- 单位:计数
- 类型:累积
- 标签:
status(success或failed)reason(none、timeout、oom、access_denied、unknown)write_type(insert、overwrite或ctas)
- 描述:针对 Iceberg 表的
INSERT、INSERT OVERWRITE或CTAS任务总数。无论任务成功或失败,每当任务结束时,该指标都会增加 1。write_type区分操作类型。
int128_column_pool_bytes
- 单位:字节
- 描述:INT128 列池使用的内存。
int16_column_pool_bytes
- 单位:字节
- 描述:INT16 列池使用的内存。
int32_column_pool_bytes
- 单位:字节
- 描述:INT32 列池使用的内存。
int64_column_pool_bytes
- 单位:字节
- 描述:INT64 列池使用的内存。
int8_column_pool_bytes
- 单位:字节
- 描述:INT8 列池使用的内存。
jwks_fetch_latency_ms
- 单位:毫秒
- 类型:Histogram
- 描述:每次从身份提供方拉取 JWKS(JSON Web Key Set)的耗时,不区分触发原因:某个
jwks_url的首次加载、缓存到期前的后台提前刷新、token 带未知kid触发的刷新、失败后的重试都算,失败的拉取同样计时。JWT 验签本身是稳定的 CPU 开销,Bearer 认证变慢时,时间基本花在这里。 - 引入版本:v4.2
jwks_refresh_total
- 单位:个
- 类型:Counter
- 描述:从身份提供方拉取 JWKS 的总次数,按
result(success/failure)打标签。在 HTTP 拉取本身计数,每次拉取加一:后台刷新只算一次,拉取失败但用缓存的旧 key 顶上(见jwks_cache_outage_ttl_seconds)的情况算failure。failure持续上升说明身份提供方的 JWKS 端点不健康;在容错窗口用完之前,认证仍靠缓存的 key 继续工作。 - 引入版本:v4.2
jemalloc_active_bytes
- 单位:字节
- 描述:应用程序分配的活动页面中的总字节数。
jemalloc_allocated_bytes
- 单位:字节
- 描述:应用程序分配的总字节数。
jemalloc_dirty_bytes
- 单位:字节
- 描述:未使用的脏页(dirty page)中的总字节数。这些页面尚未通过 madvise 归还给操作系统,可直接复用于新的内存分配而不会触发缺页中断。
jemalloc_mapped_bytes
- 单位:字节
- 描述:分配器映射的活动扩展中的总字节数。
jemalloc_metadata_bytes
- 单位:字节
- 描述:专用于元数据的总字节数,包括用于引导敏感分配器元数据结构的基础分配和内部分配。此项不包括透明巨页的使用。
jemalloc_metadata_thp
- 单位:计数
- 描述:用于元数据的透明巨页数量。
jemalloc_muzzy_bytes
- 单位:字节
- 描述:未使用的 muzzy 页中的总字节数。muzzy 是脏页与保留页(retained)之间的中间衰减状态,页面已通过 madvise(例如 MADV_FREE)处理,但地址映射仍被保留。
jemalloc_resident_bytes
- 单位:字节
- 描述:分配器映射的物理驻留数据页中的最大字节数,包括所有专用于分配器元数据的页面、支持活动分配的页面以及未使用的脏页面。
jemalloc_retained_bytes
- 单位:字节
- 描述:通过 munmap(2) 等操作保留而非返回给操作系统的虚拟内存映射总字节数。
jit_cache_mem_bytes
- 单位:字节
- 描述:JIT 编译函数缓存使用的内存。
jvm_heap_size_bytes
- 单位:字节
- 类型:瞬时值
- 标签:
type(used、committed或max) - 描述:BE 进程内嵌 JVM 的堆内存。
used为对象占用的内存,committed为 JVM 已向操作系统申请的内存,max为堆内存上限。FE 节点也会为自身的 JVM 导出同名指标,此处描述的是 BE 指标。- 仅当 BE 配置项
enable_jvm_metrics为true(默认值)且 BE 启动时设置了环境变量JAVA_HOME时,才会导出 BE JVM 指标(本节中所有jvm_*_size_bytes指标)。 - BE 不会为了采集这些指标而启动 JVM。在 BE 进程中创建 JVM 之前(例如访问 HDFS、使用基于 JNI 的 Scanner 或 Java UDF),所有取值均为
0。 - 当 BE 配置项
enable_metric_calculator为true(默认值)时,每 15 秒刷新一次取值;否则在拉取指标时刷新。 - 当
enable_jvm_memory_tracker为true(默认值)时,已提交的堆内存和非堆内存还会计入 BE 的jvm内存追踪器(MemTracker)。
- 仅当 BE 配置项
jvm_non_heap_size_bytes
- 单位:字节
- 类型:瞬时值
- 标签:
type(used或committed) - 描述:BE 进程内嵌 JVM 的非堆内存,例如 Metaspace 和 Code Cache。不导出
max取值。BE JVM 指标的导出条件参见jvm_heap_size_bytes。
jvm_old_size_bytes
- 单位:字节
- 类型:瞬时值
- 标签:
type(used、committed、max、peak_used或peak_max) - 描述:BE 进程内嵌 JVM 的老年代内存池。各
type的含义及支持的垃圾回收器参见jvm_young_size_bytes。
jvm_perm_size_bytes
- 单位:字节
- 类型:瞬时值
- 标签:
type(used、committed、max、peak_used或peak_max) - 描述:BE 进程内嵌 JVM 的 Metaspace(Java 7 及更早版本中为永久代)。除非设置了 JVM 参数
-XX:MaxMetaspaceSize,Metaspace 没有确定的上限,因此max和peak_max通常为-1。各type的含义参见jvm_young_size_bytes。
jvm_survivor_size_bytes
- 单位:字节
- 类型:瞬时值
- 标签:
type(used、committed、max、peak_used或peak_max) - 描述:BE 进程内嵌 JVM 的 Survivor 区内存池。使用默认的 G1 回收器时,
max和peak_max为-1。各type的含义及支持的垃圾回收器参见jvm_young_size_bytes。
jvm_young_size_bytes
- 单位:字节
- 类型:瞬时值
- 标签:
type(used、committed、max、peak_used或peak_max) - 描述:BE 进程内嵌 JVM 的新生代(Eden 区)内存池。使用默认的 G1 回收器时,
max和peak_max为-1。BE JVM 指标的导出条件参见jvm_heap_size_bytes。used、committed和max为内存池的当前使用情况。peak_used和peak_max来自 JVM 为该内存池记录的峰值使用情况(MemoryPoolMXBean.getPeakUsage()):peak_used为used的最大值,peak_max为该峰值记录中的max字段。peak_max并不是单独统计的max历史最大值,因此监控内存池容量时请使用max,而不是peak_max。峰值记录从 JVM 启动或上一次重置时开始统计。BE 不会重置峰值记录,因此只有 BE 重启时才会重置。max或peak_max为-1表示该内存池没有确定的上限,并不表示出错。jvm_young_size_bytes、jvm_survivor_size_bytes和jvm_old_size_bytes按照内存池名称匹配,因此仅在 JVM 使用 Serial、Parallel、CMS 或 G1 垃圾回收器时才有取值。使用 ZGC 或 Shenandoah 时,这些指标保持为0。jvm_heap_size_bytes和jvm_non_heap_size_bytes不受影响。
lake_compaction_held_segment_bytes
- 单位:字节
- 类型:瞬时值
- 描述:正在运行的存算分离(lake)压缩任务当前持有的输入 Segment 元数据大小(由
lake_compaction_hold_input_segments控制)。与元数据缓存不同,这部分内存不受 LRU 管理,随持有它的任务结束而释放;因此该值长期偏高说明存在长时间运行的压缩任务,而不是缓存需要调大。
lake_compaction_failed
- 单位:计数
- 描述:失败的存算分离(lake)压缩任务计数。
lake_compaction_partial_success
- 单位:计数
- 描述:部分成功的存算分离(lake)压缩任务计数。
lake_compaction_running
- 单位:计数
- 描述:当前正在运行的存算分离(lake)压缩作业数量(每个分区一个作业)。
lake_compaction_running_tasks
- 单位:计数
- 描述:所有正在运行的存算分离(lake)压缩作业中当前正在被压缩的 tablet 数量。该数量与调度器通过
lake_compaction_max_tasks配置进行限流时所用的单位一致,比统计压缩作业数量(每个分区一个)的lake_compaction_running更细粒度——单个作业会按 tablet 拆分为一个个 tablet 级任务。该指标带有is_leader标签;Follower FE 会以is_leader="false"导出该指标且取值为 0,因此面板应通过is_leader="true"进行筛选。
lake_compaction_score_at_trigger
- 单位:分数
- 类型:Gauge
- 描述:最近一次触发存算分离(lake)压缩任务的分区的压缩分数,四舍五入为整数。取值为该分区下各 Tablet 分数的 最大值(
Quantiles.getMax()),与调度器选择压缩分区所用的判据一致。每次触发每个分区更新一次;Gauge 持有最近一次更新的值。该 Gauge 不会衰减:在 Leader FE 上,当没有压缩任务运行时,它会保留上一次触发的值(不会重置为 0)。该值是进程本地的(Leader 上的内存计数器,不会持久化),因此当 FE Leader 发生故障切换后,新当选的 Leader 会从 0 开始,并在其首次触发压缩之前一直报告 0——不会继承前一个 Leader 的值。应将其与lake_compaction_running > 0结合起来设置告警,而非单独读取该指标。该指标带有is_leader标签;Follower FE 会以is_leader="false"导出并返回 0,因此面板应通过is_leader="true"进行筛选。
lake_compaction_success
- 单位:计数
- 描述:成功的存算分离(lake)压缩任务计数。
lake_pk_index_cache_delvec_bytes
- 单位:字节
- 类型:瞬时值
- 描述:仅存算分离模式。本 BE 上已缓存主键索引的 tablet 中,主键索引 SST 文件所附带的 Delete Vector 占用的内存。只有随 Delete Vector 一起导入的 SST 文件(例如 Compaction 的产出)才带有 Delete Vector。这部分内存不计入主键索引缓存,因此也不包含在
information_schema.be_tablets的INDEX_MEM中。
lake_pk_index_cache_filter_bytes
- 单位:字节
- 类型:瞬时值
- 描述:仅存算分离模式。本 BE 上已缓存主键索引的 tablet 中,主键索引 SST 文件的 Bloom Filter 占用的内存。
lake_pk_index_cache_memtable_bytes、lake_pk_index_cache_index_block_bytes与本指标之和,即主键索引缓存计入的内存;information_schema.be_tablets的INDEX_MEM按 tablet 给出的就是这部分内存。
lake_pk_index_cache_hit_total
- 单位:计数
- 类型:累积
- 描述:仅存算分离模式。主键表 Publish 时,tablet 的主键索引已在主键索引缓存中、无需加载的次数。结合
lake_pk_index_load_total,缓存命中率为hit / (hit + load)。
lake_pk_index_cache_index_block_bytes
- 单位:字节
- 类型:瞬时值
- 描述:仅存算分离模式。本 BE 上已缓存主键索引的 tablet 中,主键索引 SST 文件的索引块(index block)占用的内存。
lake_pk_index_cache_memtable_bytes、lake_pk_index_cache_filter_bytes与本指标之和,即主键索引缓存计入的内存;information_schema.be_tablets的INDEX_MEM按 tablet 给出的就是这部分内存。
lake_pk_index_cache_memtable_bytes
- 单位:字节
- 类型:瞬时值
- 描述:仅存算分离模式。本 BE 上已缓存的主键索引中,MemTable(包括正在写入的和正在 Flush 的)占用的内存。
lake_pk_index_cache_index_block_bytes、lake_pk_index_cache_filter_bytes与本指标之和,即主键索引缓存计入的内存;information_schema.be_tablets的INDEX_MEM按 tablet 给出的就是这部分内存。
lake_pk_index_load_duration_us
- 单位:us
- 类型:累积
- 描述:仅存算分离模式。
lake_pk_index_load_total所统计的主键索引加载累计耗时。除以lake_pk_index_load_total即为单个 tablet 加载主键索引的平均耗时。
lake_pk_index_load_total
- 单位:计数
- 类型:累积
- 描述:仅存算分离模式。主键表 Publish 时,tablet 的主键索引不在主键索引缓存中、必须整体加载的次数。索引不在缓存中,要么是 BE 启动后尚未加载过,要么是已被淘汰。加载时会打开该 tablet 的全部主键索引 SST 文件,并重放这些文件尚未覆盖的 rowset。加载失败也会计入。如果写入的 tablet 集合不变而该值持续上升,说明主键索引在被反复淘汰和重新加载。
lake_publish_batch_retry_total
- 单位:计数
- 类型:累积
- 描述:存算分离集群中重试批量发布的次数,即批次的首个事务在之前的尝试中已经发出、但那次尝试没有完成。
lake_enable_batch_publish_retry_freeze为true时,这类重试只包含上一次尝试中的事务。仅 Leader FE 递增该计数器。
lake_publish_partial_meta_written
- 单位:次数
- 类型:Gauge
- 描述:本 BE/CN 启动以来,把 Tablet 发布结果写入本节点 Data Cache 的累积次数。仅在 BE 配置项
lake_enable_publish_partial_meta为true时统计,且只涉及开启 File Bundling 的表。某个 Tablet 的 Publish 在请求到达后超过 Publish RPC 超时时间加 3 秒才完成,或者本次 Publish 是重试,就会写入其结果;重试即使直接用了已保留的结果,也会再写一次。之后同一节点上的重试会直接读取这份结果,不再重新 apply,参见lake_publish_skipped_by_partial_meta。仅适用于存算分离集群。启用dump_metrics_with_bvar后,通过/metrics导出。
lake_publish_skipped_by_partial_meta
- 单位:次数
- 类型:Gauge
- 描述:本 BE/CN 启动以来,重试的 Publish 直接使用本节点 Data Cache 中保留的 Tablet 发布结果(参见
lake_publish_partial_meta_written)、不再重新 apply 事务的 Tablet 累积次数。仅在 BE 配置项lake_enable_publish_partial_meta为true时统计,且只涉及开启 File Bundling 的表。仅适用于存算分离集群。启用dump_metrics_with_bvar后,通过/metrics导出。
lake_publish_version_skipped_durable
- 单位:次数
- 类型:Gauge
- 描述:本 BE/CN 启动以来,重试的 publish 直接使用存储中已写好的新版本 tablet 元数据、不再重新 apply 事务的 tablet 累积次数。只统计重试(该分区之前的 publish 请求已经发出、但没有完成)且新版本不在元数据缓存中的情况;命中元数据缓存的 tablet 和首次 publish 都不计入。仅适用于存算分离集群。启用
dump_metrics_with_bvar后,通过/metrics导出。
lake_segment_cache_hit_minute
- 单位:次数
- 类型:Gauge
- 描述:存算分离集群下,过去 60 秒内 segment 元数据缓存查找命中的次数。命中表示找到一个缓存候选对象,该对象仍可能因 schema 与请求不兼容而被拒绝复用。启用
dump_metrics_with_bvar后,通过/metrics导出。
lake_segment_cache_miss_minute
- 单位:次数
- 类型:Gauge
- 描述:存算分离集群下,过去 60 秒内 segment 元数据缓存查找未找到缓存条目的次数。启用
dump_metrics_with_bvar后,通过/metrics导出。
lake_segment_cache_schema_reject_total
- 单位:次数
- 类型:Gauge
- 描述:本 BE/CN 启动以来,缓存 segment 候选对象因 schema 缺失或与请求指定的 schema 不兼容而被拒绝复用的累积次数。启用缓存填充时,仅当被拒绝的条目仍指向同一个 segment 对象,才会原子替换该条目;在途读取继续使用原对象。否则,本次请求打开私有 segment。也包括查找未命中后,并发缓存插入返回不兼容候选对象的情况,因此不能直接从查找命中数中扣除此值。启用
dump_metrics_with_bvar后,通过/metrics导出。
lake_tablet_location_handoff_entries
- 单位:计数
- 类型:瞬时值
- 描述:仅存算分离模式。本 BE 为自己不持有的 tablet 保留的存储位置条数。这些位置由 tablet 的持有节点在导入时交来,用于写 combined txn log(参见 BE 配置项
lake_shard_info_cache_ttl_sec)。条目保存在一个 16 MiB 的 LRU 缓存中,与staros_shard_info_fallback_cache_entries统计的条目共用,最后一次刷新后在lake_shard_info_cache_ttl_sec时长内有效,缓存需要空间时被淘汰。因此该值反映的是缓存占用,而不是位置交接当前是否在用。
lake_tablet_location_handoff_hits_total
- 单位:计数
- 类型:累积
- 描述:仅存算分离模式。本 BE 解析自己不持有的 tablet 的存储位置时,直接使用持有节点交来的位置、没有向 StarMgr 查询的次数。每增加 1,就少发一次 StarMgr GetShard RPC。该指标在负责向开启了
file_bundling的表导入数据的协调节点上增长。结合staros_shard_info_fallback_total,交接的命中率为hits / (hits + fallback)。
lake_vacuum_del_file_batch_size_minute
- 单位:文件数(每批次)
- 类型:Gauge
- 描述:存算分离集群下 Vacuum 在过去 60 秒内每次
DeleteObjects批次的平均文件数。
lake_vacuum_del_file_retries_minute
- 单位:次数
- 类型:Gauge
- 描述:存算分离集群下 Vacuum 在过去 60 秒内触发的删除重试次数。反映对象存储瞬时限流压力(SlowDown / try-again)。
load_bytes
- 单位:字节
- 描述:总加载字节数。
load_channel_count
- 单位:计数
- 描述:加载通道总数。
load_mem_bytes
- 单位:字节
- 描述:数据加载的内存开销。
load_rows
- 单位:计数
- 描述:总加载行数。
load_rpc_threadpool_size
- 单位:计数
- 描述:RPC 线程池的当前大小,用于处理 Routine Load 和通过表函数加载。默认值为 10,最大值为 1000。此值根据线程池的使用情况动态调整。
load_sink_close_active_threads
- 单位:计数
- 类型:瞬时值
- 描述:导入 Sink 关闭线程池中正在执行的关闭操作数。存算分离集群下,每个关闭操作会向对象存储写入一次导入的合并事务日志。
load_sink_close_execute_time_ns_total
- 单位:纳秒
- 类型:累积
- 描述:已完成的导入 Sink 关闭任务的累计执行时间,包含关闭过程中的等待和对象存储写入耗时。在每个任务结束时更新。
load_sink_close_executed_tasks_total
- 单位:计数
- 类型:累积
- 描述:线程池已完成的导入 Sink 关闭任务数,包含返回错误的关闭任务。
load_sink_close_pending_time_ns_total
- 单位:纳秒
- 类型:累积
- 描述:已完成的导入 Sink 关闭任务在线程池队列中等待的累计时间。在每个任务结束时更新,尚未包含当前仍在排队的任务。
load_sink_close_queue_count
- 单位:计数
- 类型:瞬时值
- 描述:在导入 Sink 关闭线程池队列中等待的关闭操作数。该值持续增长,说明对象存储写入跟不上导入结束的速度。
load_sink_close_running_threads
- 单位:计数
- 类型:瞬时值
- 描述:导入 Sink 关闭线程池中的线程数。
load_sink_close_threadpool_size
- 单位:计数
- 类型:瞬时值
- 描述:导入 Sink 关闭线程池的最大线程数,由
load_sink_close_thread_pool_num_max设置。
local_column_pool_bytes (Deprecated)
low_cardinality_dict_cache_bytes
- 单位:字节
- 类型:Gauge
- 描述:当前 FE 上低基数全局字典缓存(
CacheDictManager)中缓存的字典数据总字节数。由缓存精确统计(非采样),统计的是序列化后的字典数据大小,是实际堆内存占用的下界。该缓存以此字节大小为上界,由配置项low_cardinality_dict_cache_max_bytes控制。
max_disk_io_util_percent
- 单位:-
- 描述:最大磁盘 I/O 利用率百分比。
max_network_receive_bytes_rate
- 单位:字节
- 描述:通过网络接收的总字节数(所有网络接口中的最大值)。
max_network_send_bytes_rate
- 单位:字节
- 描述:通过网络发送的总字节数(所有网络接口中的最大值)。
memory_pool_bytes_total
- 单位:字节
- 描述:内存池使用的内存。
memtable_flush_duration_us
- 单位:微秒
- 描述:memtable 刷盘的总耗时。
memtable_flush_queue_count
- 单位:计数
- 描述:memtable 刷盘线程池中排队的任务数量。
memtable_flush_total
- 单位:计数
- 描述:memtable 刷盘的总次数。
merge_commit_append_pipe
- 单位:微秒
- 类型:汇总
- 描述:在合并提交期间,向流式加载管道追加数据所花费的时间。
merge_commit_fail_total
- 单位:计数
- 类型:累计
- 描述:失败的合并提交请求。
merge_commit_pending
- 单位:微秒
- 类型:汇总
- 描述:合并提交任务在执行前在待处理队列中等待的时间。
merge_commit_pending_bytes
- 单位:字节
- 类型:瞬时
- 描述:待处理合并提交任务持有的数据总字节数。
merge_commit_pending_total
- 单位:计数
- 类型:瞬时
- 描述:当前在执行队列中等待的合并提交任务。
merge_commit_register_pipe_total
- 单位:计数
- 类型:累计
- 描述:为合并提交操作注册的流式加载管道。
merge_commit_request
- 单位:微秒
- 类型:汇总
- 描述:合并提交请求的端到端处理延迟。
merge_commit_request_bytes
- 单位:字节
- 类型:累计
- 描述:通过合并提交请求接收到的数据总字节数。
merge_commit_request_total
- 单位:计数
- 类型:累计
- 描述:BE 接收到的合并提交请求总数。
merge_commit_send_rpc_total
- 单位:计数
- 类型:累计
- 描述:发送给 FE 以启动合并提交操作的 RPC 请求。
merge_commit_success_total
- 单位:计数
- 类型:累积
- 描述:成功完成的合并提交请求。
merge_commit_unregister_pipe_total
- 单位:计数
- 类型:累积
- 描述:从合并提交操作中注销的流式加载管道。
延迟指标公开了百分位数序列,例如 merge_commit_request_latency_99 和 merge_commit_request_latency_90,以微秒为单位报告。端到端延迟遵循:
merge_commit_request = merge_commit_pending + merge_commit_wait_plan + merge_commit_append_pipe + merge_commit_wait_finish
注意:在 v3.4.11、v3.5.12 和 v4.0.4 之前,这些延迟指标以纳秒为单位报告。
merge_commit_wait_finish
- 单位:微秒
- 类型:摘要
- 描述:等待合并提交加载操作完成所花费的时间。
merge_commit_wait_plan
- 单位:微秒
- 类型:摘要
- 描述:RPC 请求和等待流式加载管道可用性的总延迟。
meta_replay_lag_second
- 单位:秒
- 类型:Gauge
- 描述:当前 FE 已回放的元数据比 Leader 的时钟落后多久。Leader FE 每 10 秒向日志中写入一个时间戳,该指标即本节点已回放的最新时间戳距今的时长。
max_journal_replay_lag只由 Leader 上报,而该指标由落后的节点自身上报;某条日志回放卡住期间,该值会持续增长。Leader FE 只写时间戳、不回放时间戳,因此始终上报0。该值超过meta_delay_toleration_second后,该节点不再用本地元数据提供读服务,而是把查询转发给 Leader。有两种例外:一是ignore_meta_check设为true时,该节点照常提供读服务;二是该节点自上次检查以来没有回放任何日志,且与 Leader 的连接正常,此时该节点维持当前的读服务状态,因为 Leader 没有写入新日志,落后于它的时钟并不说明该节点自身有问题。第二种情况只是不把节点移出服务,并不会让已经停止提供读服务的节点重新对外服务。
meta_request_duration
- 单位:us
- 描述:元数据读/写总持续时间。
meta_request_total
- 单位:计数
- 描述:元数据读/写请求总数。
metadata_mem_bytes (Deprecated)
network_receive_bytes
- 单位:字节
- 描述:通过网络接收的总字节数。
network_receive_packets
- 单位:计数
- 描述:通过网络接收的数据包总数。
network_send_bytes
- 单位:字节
- 描述:通过网络发送的字节数。
network_send_packets
- 单位:计数
- 描述:通过网络发送的数据包总数。
ordinal_index_mem_bytes
- 单位:字节
- 描述:序数索引使用的内存。
page_cache_capacity
- 描述:存储页缓存的容量。
page_cache_hit_count
- 单位:计数
- 描述:存储页缓存中的总命中数。
page_cache_insert_count
- 单位:计数
- 描述:存储页缓存中的总插入操作数。
page_cache_insert_evict_count
- 单位:计数
- 描述:由于容量限制,在插入操作期间逐出的缓存条目总数。
page_cache_lookup_count
- 单位:计数
- 描述:存储页缓存的总查找次数。
page_cache_release_evict_count
- 单位:计数
- 描述:当缓存使用量超出容量时,在释放操作期间逐出的缓存条目总数。
pip_query_ctx_cnt
- 单位:计数
- 描述:BE 中当前正在运行的查询总数。
pipe_driver_execution_time
- 描述:PipelineDriver 执行器处理 PipelineDriver 所花费的累计时间。
pipe_driver_queue_len
- 单位:计数
- 描述:BE 中就绪队列中等待调度的就绪驱动程序当前数量。
pipe_driver_schedule_count
- 单位:计数
- 描述:BE 中管道执行器驱动程序调度的累计次数。
pipe_drivers
- 单位:计数
- 描述:BE 准入控制当前预留的逻辑 driver 配额。包含 fragment 实例化 driver 和 operator 期间持有的配额,以及实例化后尚未释放的配额。该值遵循逻辑 DOP 计数规则(包括 colocate 执行组),并非已实例化的 driver 对象数或运行线程数。配额释放时(包括准备失败或 fragment 完成时),该值随之减少。
pipe_poller_block_queue_len
- 单位:计数
- 描述:管道引擎中 PipelineDriverPoller 的阻塞队列当前长度。
pipe_poller_max_driver_check
- 单位:微秒
- 类型:汇总
- 描述:PipelineDriverPoller 每轮轮询中耗时最长的单个 Driver 检查所用的时间。该值偏大,说明某个阻塞 Driver 的检查拖慢了整轮轮询。
pipe_poller_pass
- 单位:微秒
- 类型:汇总
- 描述:PipelineDriverPoller 检查一遍所有阻塞 Driver 所用的时间。每个执行器集合只有一个 Poller 线程,一轮耗时过长会推迟所有等待该线程检查的 Driver。最近窗口内的最大值见
pipe_poller_pass_max_latency。
pipe_prepare_pool_queue_len
- 单位:计数
- 描述:管道 PREPARE 线程池中排队的任务数量。这是一个瞬时值。
pipe_scan_executor_queuing
- 单位:计数
- 描述:Scan Operators 启动的待处理异步 I/O 任务的当前数量。
plan_advisor_guide_applied_total
- 单位:个
- 类型:累积值
- 标签:
operator_type(join或agg) - 描述:Plan Advisor 在查询优化阶段成功应用的 guide 总数。每当某个 guide 成功改写一个计划节点时,该指标加 1。
join表示 Join 估算误差相关 guide,agg表示 Streaming Agg 相关 guide。
plan_advisor_guide_generated_total
- 单位:个
- 类型:累积值
- 标签:
operator_type(join或agg) - 描述:Plan Advisor 成功生成并写入当前 FE 本地缓存的 guide 总数。只有分析结果非空且作为新的缓存项写入时才会累加。
join表示 Join 估算误差相关 guide,agg表示 Streaming Agg 相关 guide。
plan_advisor_optimization_duration_ms_total
- 单位:毫秒
- 类型:累积值
- 描述:Plan Advisor 累计节省的查询执行耗时(毫秒)。当一个使用了缓存 guide 的查询执行时间短于生成该 guide 的原始查询时,节省的时间会累加到该指标。
pk_index_compaction_queue_count
- 单位:计数
- 描述:主键索引压缩线程池中排队的任务数量。
pk_index_sst_read_error_total
- 类型:计数器
- 单位:计数
- 描述:湖主键持久化索引中 SST 文件读取失败的总次数。当 SST 多次获取(读取)操作失败,或 Compaction 读取输入 SST 文件时检测到数据损坏时增加。
pk_index_sst_write_error_total
- 类型:计数器
- 单位:计数
- 描述:湖主键持久化索引中 SST 文件写入失败的总次数。当 SST 文件构建失败时增加。
plan_fragment_count
- 单位:计数
- 描述:当前正在运行的查询计划片段数量。
process_fd_num_limit_hard
- 单位:计数
- 描述:文件描述符最大数量的硬限制。
process_fd_num_limit_soft
- 单位:计数
- 描述:文件描述符最大数量的软限制。请注意,此项表示软限制。您可以使用
ulimit命令设置硬限制。
process_fd_num_used
- 单位:计数
- 描述:此 BE 进程中当前正在使用的文件描述符数量。
process_mem_bytes
- 单位:字节
- 描述:此进程使用的内存。
此指标包含 passthrough_mem_bytes 统计的本机 pass-through 缓冲内存。pass-through 指标是进程总量的组成部分,而非额外内存;计算总用量时不要将两个指标相加。此记账指标不等同于容器 RSS。
process_thread_num
- 单位:计数
- 描述:此进程中的线程总数。
publish_version_queue_count
- 单位:计数
- 描述:发布版本线程池中排队的任务数量。
push_request_duration_us
- 单位:us
- 描述:Spark Load 上花费的总时间。
push_request_write_bytes
- 单位:字节
- 描述:通过 Spark Load 写入的总字节数。
push_request_write_bytes_per_second
- 单位:字节/秒
- 描述:Spark Load 的数据写入速率。
push_request_write_rows
- 单位: 计数
- 描述: 通过Spark Load写入的总行数。
push_requests_total
- 单位: 计数
- 描述: 成功和失败的Spark Load请求总数。
本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。
