对导入作业的每一张目标表都拥有至少一项权限,或者拥有 OPERATE 权限的用户,可以在 中看到该作业。如果没有每一张目标表的 SELECT 权限,可能暴露导入数据的字段会被隐藏: 、 和 为 NULL; 对 Broker Load 和 INSERT 作业只保留失败类型(例如 ),对其他作业为 NULL; 不含导入 ID、BE 节点和事务错误信息。 用户可以看到所有导入作业的完整信息。目标表已被删除的导入作业,只有 用户能看到完整信息,拥有 OPERATE 权限的用户看到的是隐藏上述字段后的信息。
loads
提供导入作业的结果信息。此视图自 StarRocks v3.1 版本起支持。
对导入作业的每一张目标表都拥有至少一项权限,或者拥有 OPERATE 权限的用户,可以在 loads 中看到该作业。如果没有每一张目标表的 SELECT 权限,可能暴露导入数据的字段会被隐藏:TRACKING_SQL、REJECTED_RECORD_PATH 和 PROPERTIES 为 NULL;ERROR_MSG 对 Broker Load 和 INSERT 作业只保留失败类型(例如 type:ETL_QUALITY_UNSATISFIED),对其他作业为 NULL;RUNTIME_DETAILS 不含导入 ID、BE 节点和事务错误信息。root 用户可以看到所有导入作业的完整信息。目标表已被删除的导入作业,只有 root 用户能看到完整信息,拥有 OPERATE 权限的用户看到的是隐藏上述字段后的信息。
loads 提供以下字段:
| 字段 |
描述 |
| ID |
全局唯一标识符。 |
| LABEL |
导入作业的标签。 |
| PROFILE_ID |
Profile 的 ID,可以通过 ANALYZE PROFILE 进行分析。 |
| DB_NAME |
目标表所属的数据库。 |
| TABLE_NAME |
目标表。 |
| USER |
启动导入作业的用户。 |
| WAREHOUSE |
导入作业所属的仓库。 |
| STATE |
导入作业的状态。有效值:PENDING/BEGIN:导入作业已创建。QUEUEING/BEFORE_LOAD:导入作业在队列中等待调度。LOADING:导入作业正在运行。PREPARING:事务正在预提交。PREPARED:事务已预提交。COMMITED:事务已提交。FINISHED:导入作业成功。CANCELLED:导入作业失败。
|
| PROGRESS |
导入作业的 ETL 阶段和 LOADING 阶段的进度。 |
| TYPE |
导入作业的类型。对于 Broker Load,返回值为 BROKER。对于 INSERT,返回值为 INSERT。对于 Spark Load,返回值为 SPARK。对于 Stream Load,返回值为 STREAM_LOAD。对于 Routine Load,返回值为 ROUTINE_LOAD。 |
| PRIORITY |
导入作业的优先级。有效值:HIGHEST、HIGH、NORMAL、LOW 和 LOWEST。 |
| SCAN_ROWS |
扫描的数据行数。 |
| SCAN_BYTES |
扫描的字节数。 |
| FILTERED_ROWS |
由于数据质量不佳而被过滤掉的数据行数。 |
| UNSELECTED_ROWS |
由于 WHERE 子句中指定的条件而被过滤掉的数据行数。 |
| SINK_ROWS |
加载的数据行数。 |
| RUNTIME_DETAILS |
加载运行时元数据。详情请参见 RUNTIME_DETAILS。 |
| CREATE_TIME |
导入作业创建的时间。格式:yyyy-MM-dd HH:mm:ss.SSSSSS。示例:2023-07-24 14:58:58.123000。 |
| LOAD_START_TIME |
导入作业 LOADING 阶段的开始时间。格式:yyyy-MM-dd HH:mm:ss.SSSSSS。示例:2023-07-24 14:58:58.123000。 |
| LOAD_COMMIT_TIME |
加载事务提交的时间。格式:yyyy-MM-dd HH:mm:ss.SSSSSS。示例:2023-07-24 14:58:58.123000。 |
| LOAD_FINISH_TIME |
导入作业 LOADING 阶段的结束时间。格式:yyyy-MM-dd HH:mm:ss.SSSSSS。示例:2023-07-24 14:58:58.123000。 |
| PROPERTIES |
导入作业的静态属性。详情请参见 PROPERTIES。 |
| ERROR_MSG |
导入作业的错误信息。如果导入作业未遇到任何错误,则返回 NULL。 |
| TRACKING_SQL |
可用于查询导入作业跟踪日志的 SQL 语句。仅当导入作业涉及不合格数据行时,才返回 SQL 语句。如果导入作业不涉及任何不合格数据行,则返回 NULL。 |
| REJECTED_RECORD_PATH |
可以从中访问导入作业中过滤掉的所有不合格数据行的路径。记录的不合格数据行数由导入作业中配置的 log_rejected_record_num 参数决定。可以使用 wget 命令访问该路径。如果导入作业不涉及任何不合格数据行,则返回 NULL。 |
从 v4.2 版本开始,CREATE_TIME、LOAD_START_TIME、LOAD_COMMIT_TIME 和 LOAD_FINISH_TIME 支持毫秒精度。秒以下部分以六位小数渲染,其中最后三位始终为 0(例如 2023-07-24 14:58:58.123000)。针对这些字段的谓词(例如 LOAD_FINISH_TIME <= '2023-07-24 14:58:58')也按毫秒精度进行求值。在更早的版本中,这些字段为秒级精度(格式为 yyyy-MM-dd HH:mm:ss)。
RUNTIME_DETAILS
| 指标 |
描述 |
| load_id |
加载执行计划的全局唯一 ID。 |
| txn_id |
加载事务 ID。 |
- Broker Load、INSERT INTO 和 Spark Load 的特定指标:
| 指标 |
描述 |
| etl_info |
ETL 详情。此字段仅对 Spark Load 作业有效。对于其他类型的导入作业,值将为空。 |
| etl_start_time |
导入作业 ETL 阶段的开始时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| etl_start_time |
导入作业 ETL 阶段的结束时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| unfinished_backends |
未完成执行的 BE 列表。 |
| backends |
参与执行的 BE 列表。 |
| file_num |
读取的文件数量。 |
| file_size |
读取的文件总大小。 |
| task_num |
子任务的数量。 |
| 指标 |
描述 |
| schedule_interval |
Routine Load 的调度间隔。 |
| wait_slot_time |
Routine Load 任务等待执行槽的时间。 |
| check_offset_time |
Routine Load 任务调度期间检查偏移信息所消耗的时间。 |
| consume_time |
Routine Load 任务读取上游数据所消耗的时间。 |
| plan_time |
生成执行计划的时间。 |
| commit_publish_time |
执行 COMMIT RPC 所消耗的时间。 |
| 指标 |
描述 |
| timeout |
导入任务的超时时间。 |
| begin_txn_ms |
开始事务所消耗的时间。 |
| plan_time_ms |
生成执行计划的时间。 |
| receive_data_time_ms |
接收数据的时间。 |
| commit_publish_time_ms |
执行 COMMIT RPC 所消耗的时间。 |
| client_ip |
客户端 IP 地址。 |
PROPERTIES
- Broker Load、INSERT INTO 和 Spark Load 的特定属性:
| 属性 |
描述 |
| timeout |
导入任务的超时时间。 |
| max_filter_ratio |
由于数据质量不佳而被过滤掉的数据行的最大比例。 |
| 属性 |
描述 |
| job_name |
Routine Load 作业名称。 |
| task_num |
实际并行执行的子任务数量。 |
| timeout |
导入任务的超时时间。 |
本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。