数据导入故障排查
本指南旨在帮助数据库管理员和运维工程师通过 SQL 接口监控数据导入作业的状态,而无需依赖外部监控系统。同时,还提供了识别性能瓶颈和排查导入操作异常的指导。
术语
导入作业: 一个持续的数据导入过程,例如 Routine Load 作业 或 Pipe 作业。
导入任务: 一次性的数据导入过程,通常对应于单个导入事务。示例包括 Broker Load、Stream Load、Spark Load 和 INSERT INTO。Routine Load 作业和 Pipe 作业会持续生成任务以执行数据摄取。
观察导入作业
观察导入作业有两种方式:
- 使用 SQL 语句 SHOW ROUTINE LOAD 和 SHOW PIPES。
- 使用系统视图 information_schema.routine_load_jobs 和 information_schema.pipes。
观察导入任务
导入任务也可以通过两种方式进行监控:
- 使用 SQL 语句 SHOW LOAD 和 SHOW ROUTINE LOAD TASK。
- 使用系统视图 information_schema.loads 和
_statistics_.loads_history。
SQL 语句
SHOW 语句显示当前数据库中正在进行和最近完成的导入任务,提供任务状态的快速概览。检索到的信息是 _statistics_.loads_history 系统视图的一个子集。
SHOW LOAD 语句返回 Broker Load、Insert Into 和 Spark Load 任务的信息,而 SHOW ROUTINE LOAD TASK 语句返回 Routine Load 任务的信息。
系统视图
information_schema.loads
information_schema.loads 系统视图存储有关最近导入任务的信息,包括活动的和最近完成的任务。StarRocks 定期将数据同步到 _statistics_.loads_history 系统表以进行持久存储。
information_schema.loads 提供以下字段:
| 字段 | 描述 |
|---|---|
| ID | 全局唯一标识符。 |
| LABEL | 导入作业的标签。 |
| PROFILE_ID | Profile 的 ID,可以通过 ANALYZE PROFILE 进行分析。 |
| DB_NAME | 目标表所属的数据库。 |
| TABLE_NAME | 目标表。 |
| USER | 启动导入作业的用户。 |
| WAREHOUSE | 导入作业所属的仓库。 |
| STATE | 导入作业的状态。有效值:
|
| PROGRESS | 导入作业的 ETL 阶段和 LOADING 阶段的进度。 |
| TYPE | 导入作业的类型。对于 Broker Load,返回值为 BROKER。对于 INSERT,返回值为 INSERT。对于 Spark Load,返回值为 SPARK。对于 Stream Load,返回值为 STREAM_LOAD。对于 Routine Load,返回值为 ROUTINE_LOAD。 |
| PRIORITY | 导入作业的优先级。有效值:HIGHEST、HIGH、NORMAL、LOW 和 LOWEST。 |
| SCAN_ROWS | 扫描的数据行数。 |
| SCAN_BYTES | 扫描的字节数。 |
| FILTERED_ROWS | 由于数据质量不佳而被过滤掉的数据行数。 |
| UNSELECTED_ROWS | 由于 WHERE 子句中指定的条件而被过滤掉的数据行数。 |
| SINK_ROWS | 加载的数据行数。 |
| RUNTIME_DETAILS | 加载运行时元数据。详情请参见 RUNTIME_DETAILS。 |
| CREATE_TIME | 导入作业创建的时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| LOAD_START_TIME | 导入作业 LOADING 阶段的开始时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| LOAD_COMMIT_TIME | 加载事务提交的时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| LOAD_FINISH_TIME | 导入作业 LOADING 阶段的结束时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| PROPERTIES | 导入作业的静态属性。详情请参见 PROPERTIES。 |
| ERROR_MSG | 导入作业的错误信息。如果导入作业未遇到任何错误,则返回 NULL。 |
| TRACKING_SQL | 可用于查询导入作业跟踪日志的 SQL 语句。仅当导入作业涉及不合格数据行时,才返回 SQL 语句。如果导入作业不涉及任何不合格数据行,则返回 NULL。 |
| REJECTED_RECORD_PATH | 可以从中访问导入作业中过滤掉的所有不合格数据行的路径。记录的不合格数据行数由导入作业中配置的 log_rejected_record_num 参数决定。可以使用 wget 命令访问该路径。如果导入作业不涉及任何不合格数据行,则返回 NULL。 |
RUNTIME_DETAILS
- 通用指标:
| 指标 | 描述 |
|---|---|
| load_id | 加载执行计划的全局唯一 ID。 |
| txn_id | 加载事务 ID。 |
- Broker Load、INSERT INTO 和 Spark Load 的特定指标:
| 指标 | 描述 |
|---|---|
| etl_info | ETL 详情。此字段仅对 Spark Load 作业有效。对于其他类型的导入作业,值将为空。 |
| etl_start_time | 导入作业 ETL 阶段的开始时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| etl_start_time | 导入作业 ETL 阶段的结束时间。格式:yyyy-MM-dd HH:mm:ss。示例:2023-07-24 14:58:58。 |
| unfinished_backends | 未完成执行的 BE 列表。 |
| backends | 参与执行的 BE 列表。 |
| file_num | 读取的文件数量。 |
| file_size | 读取的文件总大小。 |
| task_num | 子任务的数量。 |
- Routine Load 的特定指标:
| 指标 | 描述 |
|---|---|
| schedule_interval | Routine Load 的调度间隔。 |
| wait_slot_time | Routine Load 任务等待执行槽的时间。 |
| check_offset_time | Routine Load 任务调度期间检查偏移信息所消耗的时间。 |
| consume_time | Routine Load 任务读取上游数据所消耗的时间。 |
| plan_time | 生成执行计划的时间。 |
| commit_publish_time | 执行 COMMIT RPC 所消耗的时间。 |
- Stream Load 的特定指标:
| 指标 | 描述 |
|---|---|
| timeout | 导入任务的超时时间。 |
| begin_txn_ms | 开始事务所消耗的时间。 |
| plan_time_ms | 生成执行计划的时间。 |
| receive_data_time_ms | 接收数据的时间。 |
| commit_publish_time_ms | 执行 COMMIT RPC 所消耗的时间。 |
| client_ip | 客户端 IP 地址。 |
PROPERTIES
- Broker Load、INSERT INTO 和 Spark Load 的特定属性:
| 属性 | 描述 |
|---|---|
| timeout | 导入任务的超时时间。 |
| max_filter_ratio | 由于数据质量不佳而被过滤掉的数据行的最大比例。 |
- Routine Load 的特定属性:
| 属性 | 描述 |
|---|---|
| job_name | Routine Load 作业名称。 |
| task_num | 实际并行执行的子任务数量。 |
| timeout | 导入任务的超时时间。 |
_statistics_.loads_history
_statistics_.loads_history 系统视图默认存储最近 30 天的导入记录。数据库管理员可以通过修改 FE 配置项 loads_history_retained_days 来调整保留期。请勿直接修改该表的 partition_live_number 属性,因为 StarRocks 会将其重置为 loads_history_retained_days 的值。_statistics_.loads_history 的模式与 information_schema.loads 一致。
使用 Load Profiles 识别导入性能问题
Load Profile 记录了参与数据导入的所有工作节点的执行细节。它帮助您快速定位 StarRocks 集群中的性能瓶颈。
启用 Load Profiles
StarRocks 提供多种方法来启用 Load Profiles,具体取决于导入类型:
对于 Broker Load 和 INSERT INTO
在会话级别启用 Broker Load 和 INSERT INTO 的 Load Profiles:
SET enable_profile = true;
默认情况下,自动为运行时间超过 30 秒的作业启用配置文件。您可以通过以下方式自定义此阈值:
SET big_query_profile_threshold = 60s;
自 v3.3.12、v3.4.2 和 v3.5.0 起,big_query_profile_threshold 的默认值为 30s。在更早的版本中,默认值为 0,即不会自动为长时间运行的作业记录配置文件。
StarRocks 还支持 Runtime Profiles,它会定期(每 30 秒)报告长时间运行的导入作业的执行指标。您可以通过以下方式自定义报告间隔:
SET runtime_profile_report_interval = 60;
runtime_profile_report_interval 仅指定导入任务的最小报告间隔。实际报告间隔是动态调整的,可能会超过此值。
对于 Stream Load 和 Routine Load
在表级别启用 Stream Load 和 Routine Load 的 Load Profiles:
ALTER TABLE <table_name> SET ("enable_load_profile" = "true");
Stream Load 通常具有高 QPS,因此 StarRocks 允许对 Load Profile 收集进行采样,以避免因过度分析而导致性能下降。您可以通过配置 FE 参数 load_profile_collect_interval_second 来调整收集间隔。此设置仅适用于通过表属性启用的 Load Profiles。默认值为 0。
ADMIN SET FRONTEND CONFIG ("load_profile_collect_interval_second"="30");
StarRocks 还允许仅从超过特定时间阈值的导入作业中收集配置文件。您可以通过配置 FE 参数 stream_load_profile_collect_threshold_second 来调整此阈值。默认值为 0。
ADMIN SET FRONTEND CONFIG ("stream_load_profile_collect_threshold_second"="10");
分析 Load Profiles
Load Profiles 的结构与 Query Profiles 相同。有关详细说明,请参见 Query Tuning Recipes。
您可以通过执行 ANALYZE PROFILE 来分析 Load Profiles。有关详细说明,请参见 Analyze text-based Profiles。
配置文件提供了详细的操作符指标。关键组件包括 OlapTableSink 操作符和 LoadChannel 操作符。
PreSplit 节点
当 StarRocks 尝试为 INSERT、Broker Load 或增量物化视图刷新预分裂 Range 分布目标时,顶层 Load Profile 中会包含 PreSplit 节点。如果该导入没有尝试预分裂,则不会生成此节点。
该节点包含以下时间指标:
| 指标 | 说明 |
|---|---|
| TotalTime | 此次导入所有预分裂尝试消耗的总墙钟时间。 |
| SourceSamplingTime | 读取源数据样本或文件元数据所花费的时间。derived_tier 的该值为 0。 |
| PartitionAndBoundaryPlanningTime | 按目标分区对采样行进行分组并规划分裂边界所花费的时间。 |
| JobSubmissionTime | 提交规划好的 Tablet reshard 作业所花费的时间。 |
| ReshardWaitTime | 导入继续执行前,等待已提交的 reshard 作业进入终态所花费的时间。 |
该节点还包含以下计数器:
| 计数器 | 说明 |
|---|---|
| Attempts | 目标表预分裂尝试次数。 |
| SampleRows | Data tier 采样保留的行数。Metadata tier 和 derived tier 不增加该值。 |
| EstimatedInputBytes | 各次尝试的源数据估算字节数。同一目标表尝试中各索引重复报告的估算只计算一次。 |
| TargetPartitions | 选中进行预分裂的目标分区数。 |
| BoundariesPlanned | 在目标分区和索引上规划的分裂边界总数。 |
以下信息字符串用于标识执行路径:
| 字段 | 说明 |
|---|---|
| LoadKinds | 尝试预分裂的导入路径,例如 INSERT-from-FILES、INSERT-from-table、Broker Load 或 incremental MV refresh。 |
| Tables | 尝试预分裂的目标表。 |
| SourceTiers | 尝试过的边界来源层级:meta_tier、data_tier 或 derived_tier。出现多个值表示发生了回退或包含多个目标表尝试。 |
| Outcomes | 预分裂过程中观察到的提交、完成、回退或跳过结果。 |
| SampleQueryIds | Data tier 内部采样查询的 Query ID。 |
| ReshardJobIds | 已提交的 Tablet reshard 作业 ID。 |
OlapTableSink 操作符
| 指标 | 描述 |
|---|---|
| IndexNum | 目标表的同步物化视图数量。 |
| ReplicatedStorage | 是否启用了单领导者复制。 |
| TxnID | 加载事务 ID。 |
| RowsRead | 从上游操作符读取的数据行数。 |
| RowsFiltered | 由于数据质量不佳而被过滤掉的数据行数。 |
| RowsReturned | 加载的数据行数。 |
| RpcClientSideTime | 客户端统计的数据写入 RPC 所消耗的总时间。 |
| RpcServerSideTime | 服务器端统计的数据写入 RPC 所消耗的总时间。 |
| PrepareDataTime | 数据格式转换和数据质量检查所消耗的时间。 |
| SendDataTime | 发送数据所消耗的本地时间,包括数据序列化、压缩和写入发送队列。 |
OLAP_TABLE_SINK中PushChunkNum的最大值和最小值之间的显著差异表明上游操作符中的数据倾斜,这可能导致写入性能瓶颈。RpcClientSideTime等于RpcServerSideTime、网络传输时间和 RPC 框架处理时间的总和。如果RpcClientSideTime和RpcServerSideTime之间的差异显著,考虑启用数据压缩以减少传输时间。- 如果
RpcServerSideTime占用的时间比例较大,可以进一步使用LoadChannel配置文件进行分析。
LoadChannel 操作符
| 指标 | 描述 |
|---|---|
| Address | BE 节点的 IP 地址或 FQDN。 |
| LoadMemoryLimit | 加载的内存限制。 |
| PeakMemoryUsage | 加载的峰值内存使用量。 |
| OpenCount | 通道打开的次数,反映了 sink 的总并发性。 |
| OpenTime | 打开通道所消耗的总时间。 |
| AddChunkCount | 加载块的数量,即 TabletsChannel::add_chunk 的调用次数。 |
| AddRowNum | 加载的数据行数。 |
| AddChunkTime | 加载块所消耗的总时间,即 TabletsChannel::add_chunk 的总执行时间。 |
| WaitFlushTime | TabletsChannel::add_chunk 等待 MemTable 刷新的总时间。 |
| WaitWriterTime | TabletsChannel::add_chunk 等待异步 Delta Writer 执行的总时间。 |
| WaitReplicaTime | TabletsChannel::add_chunk 等待副本同步的总时间。 |
| PrimaryTabletsNum | 主 tablet 的数量。 |
| SecondaryTabletsNum | 次要 tablet 的数量。 |
如果 WaitFlushTime 花费的时间较长,可能表明刷新线程的资源不足。考虑调整 BE 配置 flush_thread_num_per_store。
最佳实践
诊断 Broker Load 性能瓶颈
-
使用 Broker Load 加载数据:
LOAD LABEL click_bench.hits_1713874468 ( DATA INFILE ("s3://test-data/benchmark_data/query_data/click_bench/hits.tbl*") INTO TABLE hits COLUMNS TERMINATED BY "\t" (WatchID,JavaEnable,Title,GoodEvent,EventTime,EventDate,CounterID,ClientIP,RegionID,UserID,CounterClass,OS,UserAgent,URL,Referer,IsRefresh,RefererCategoryID,RefererRegionID,URLCategoryID,URLRegionID,ResolutionWidth,ResolutionHeight,ResolutionDepth,FlashMajor,FlashMinor,FlashMinor2,NetMajor,NetMinor,UserAgentMajor,UserAgentMinor,CookieEnable,JavascriptEnable,IsMobile,MobilePhone,MobilePhoneModel,Params,IPNetworkID,TraficSourceID,SearchEngineID,SearchPhrase,AdvEngineID,IsArtifical,WindowClientWidth,WindowClientHeight,ClientTimeZone,ClientEventTime,SilverlightVersion1,SilverlightVersion2,SilverlightVersion3,SilverlightVersion4,PageCharset,CodeVersion,IsLink,IsDownload,IsNotBounce,FUniqID,OriginalURL,HID,IsOldCounter,IsEvent,IsParameter,DontCountHits,WithHash,HitColor,LocalEventTime,Age,Sex,Income,Interests,Robotness,RemoteIP,WindowName,OpenerName,HistoryLength,BrowserLanguage,BrowserCountry,SocialNetwork,SocialAction,HTTPError,SendTiming,DNSTiming,ConnectTiming,ResponseStartTiming,ResponseEndTiming,FetchTiming,SocialSourceNetworkID,SocialSourcePage,ParamPrice,ParamOrderID,ParamCurrency,ParamCurrencyID,OpenstatServiceName,OpenstatCampaignID,OpenstatAdID,OpenstatSourceID,UTMSource,UTMMedium,UTMCampaign,UTMContent,UTMTerm,FromTag,HasGCLID,RefererHash,URLHash,CLID) ) WITH BROKER ( "aws.s3.access_key" = "<iam_user_access_key>", "aws.s3.secret_key" = "<iam_user_secret_key>", "aws.s3.region" = "<aws_s3_region>" ) -
使用 SHOW PROFILELIST 检索运行时配置文件列表。
MySQL [click_bench]> SHOW PROFILELIST; +--------------------------------------+---------------------+----------+---------+----------------------------------------------------------------------------------------------------------------------------------+ | QueryId | StartTime | Time | State | Statement | +--------------------------------------+---------------------+----------+---------+----------------------------------------------------------------------------------------------------------------------------------+ | 3df61627-f82b-4776-b16a-6810279a79a3 | 2024-04-23 20:28:26 | 11s850ms | Running | LOAD LABEL click_bench.hits_1713875306 (DATA INFILE ("s3://test-data/benchmark_data/query_data/click_bench/hits.tbl*" ... | +--------------------------------------+---------------------+----------+---------+----------------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec) -
使用 ANALYZE PROFILE 查看运行时配置文件。
MySQL [click_bench]> ANALYZE PROFILE FROM '3df61627-f82b-4776-b16a-6810279a79a3'; +-------------------------------------------------------------------------------------------------------------------------------------------------------------+ | Explain String | +-------------------------------------------------------------------------------------------------------------------------------------------------------------+ | Summary | | Attention: The transaction of the statement will be aborted, and no data will be actually inserted!!! | | Attention: Profile is not identical!!! | | QueryId: 3df61627-f82b-4776-b16a-6810279a79a3 | | Version: default_profile-70fe819 | | State: Running | | Legend: ⏳ for blocked; 🚀 for running; ✅ for finished | | TotalTime: 31s832ms | | ExecutionTime: 30s1ms [Scan: 28s885ms (96.28%), Network: 0ns (0.00%), ResultDeliverTime: 7s613ms (25.38%), ScheduleTime: 145.701ms (0.49%)] | | FrontendProfileMergeTime: 3.838ms | | QueryPeakMemoryUsage: 141.367 MB, QueryAllocatedMemoryUsage: 82.422 GB | | Top Most Time-consuming Nodes: | | 1. FILE_SCAN (id=0) 🚀 : 28s902ms (85.43%) | | 2. OLAP_TABLE_SINK 🚀 : 4s930ms (14.57%) | | Top Most Memory-consuming Nodes: | | Progress (finished operator/all operator): 0.00% | | NonDefaultVariables: | | big_query_profile_threshold: 0s -> 60s | | enable_adaptive_sink_dop: false -> true | | enable_profile: false -> true | | sql_mode_v2: 32 -> 34 | | use_compute_nodes: -1 -> 0 | | Fragment 0 | | │ BackendNum: 3 | | │ InstancePeakMemoryUsage: 128.541 MB, InstanceAllocatedMemoryUsage: 82.422 GB | | │ PrepareTime: 2.304ms | | └──OLAP_TABLE_SINK | | │ TotalTime: 4s930ms (14.57%) [CPUTime: 4s930ms] | | │ OutputRows: 14.823M (14823424) | | │ PartitionType: RANDOM | | │ Table: hits | | └──FILE_SCAN (id=0) 🚀 | | Estimates: [row: ?, cpu: ?, memory: ?, network: ?, cost: ?] | | TotalTime: 28s902ms (85.43%) [CPUTime: 17.038ms, ScanTime: 28s885ms] | | OutputRows: 14.823M (14823424) | | Progress (processed rows/total rows): ? | | Detail Timers: [ScanTime = IOTaskExecTime + IOTaskWaitTime] | | IOTaskExecTime: 25s612ms [min=19s376ms, max=28s804ms] | | IOTaskWaitTime: 63.192ms [min=20.946ms, max=91.668ms] | | | +-------------------------------------------------------------------------------------------------------------------------------------------------------------+ 40 rows in set (0.04 sec)
配置文件显示 FILE_SCAN 部分耗时近 29 秒,占总 32 秒时长的约 90%。这表明从对象存储读取数据是当前导入过程中的瓶颈。
诊断 Stream Load 性能
-
为目标表启用 Load Profile。
mysql> ALTER TABLE duplicate_200_column_sCH SET('enable_load_profile'='true'); Query OK, 0 rows affected (0.00 sec) -
使用 SHOW PROFILELIST 检索配置文件列表。
mysql> SHOW PROFILELIST; +--------------------------------------+---------------------+----------+----------+-----------+ | QueryId | StartTime | Time | State | Statement | +--------------------------------------+---------------------+----------+----------+-----------+ | 90481df8-afaf-c0fd-8e91-a7889c1746b6 | 2024-09-19 10:43:38 | 9s571ms | Finished | | | 9c41a13f-4d7b-2c18-4eaf-cdeea3facba5 | 2024-09-19 10:43:37 | 10s664ms | Finished | | | 5641cf37-0af4-f116-46c6-ca7cce149886 | 2024-09-19 10:43:20 | 13s88ms | Finished | | | 4446c8b3-4dc5-9faa-dccb-e1a71ab3519e | 2024-09-19 10:43:20 | 13s64ms | Finished | | | 48469b66-3866-1cd9-9f3b-17d786bb4fa7 | 2024-09-19 10:43:20 | 13s85ms | Finished | | | bc441907-e779-bc5a-be8e-992757e4d992 | 2024-09-19 10:43:19 | 845ms | Finished | | +--------------------------------------+---------------------+----------+----------+-----------+ -
使用 ANALYZE PROFILE 查看配置文件。
mysql> ANALYZE PROFILE FROM '90481df8-afaf-c0fd-8e91-a7889c1746b6'; +-----------------------------------------------------------+ | Explain String | +-----------------------------------------------------------+ | Load: | | Summary: | | - Query ID: 90481df8-afaf-c0fd-8e91-a7889c1746b6 | | - Start Time: 2024-09-19 10:43:38 | | - End Time: 2024-09-19 10:43:48 | | - Query Type: Load | | - Load Type: STREAM_LOAD | | - Query State: Finished | | - StarRocks Version: main-d49cb08 | | - Sql Statement | | - Default Db: ingestion_db | | - NumLoadBytesTotal: 799008 | | - NumRowsAbnormal: 0 | | - NumRowsNormal: 280 | | - Total: 9s571ms | | - numRowsUnselected: 0 | | Execution: | | Fragment 0: | | - Address: 172.26.93.218:59498 | | - InstanceId: 90481df8-afaf-c0fd-8e91-a7889c1746b7 | | - TxnID: 1367 | | - ReplicatedStorage: true | | - AutomaticPartition: false | | - InstanceAllocatedMemoryUsage: 12.478 MB | | - InstanceDeallocatedMemoryUsage: 10.745 MB | | - InstancePeakMemoryUsage: 9.422 MB | | - MemoryLimit: -1.000 B | | - RowsProduced: 280 | | - AllocAutoIncrementTime: 348ns | | - AutomaticBucketSize: 0 | | - BytesRead: 0.000 B | | - CloseWaitTime: 9s504ms | | - IOTaskExecTime: 0ns | | - IOTaskWaitTime: 0ns | | - IndexNum: 1 | | - NumDiskAccess: 0 | | - OpenTime: 15.639ms | | - PeakMemoryUsage: 0.000 B | | - PrepareDataTime: 583.480us | | - ConvertChunkTime: 44.670us | | - ValidateDataTime: 109.333us | | - RowsFiltered: 0 | | - RowsRead: 0 | | - RowsReturned: 280 | | - RowsReturnedRate: 12.049K (12049) /sec | | - RpcClientSideTime: 28s396ms | | - RpcServerSideTime: 28s385ms | | - RpcServerWaitFlushTime: 0ns | | - ScanTime: 9.841ms | | - ScannerQueueCounter: 1 | | - ScannerQueueTime: 3.272us | | - ScannerThreadsInvoluntaryContextSwitches: 0 | | - ScannerThreadsTotalWallClockTime: 0ns | | - MaterializeTupleTime(*): 0ns | | - ScannerThreadsSysTime: 0ns | | - ScannerThreadsUserTime: 0ns | | - ScannerThreadsVoluntaryContextSwitches: 0 | | - SendDataTime: 2.452ms | | - PackChunkTime: 1.475ms | | - SendRpcTime: 1.617ms | | - CompressTime: 0ns | | - SerializeChunkTime: 880.424us | | - WaitResponseTime: 0ns | | - TotalRawReadTime(*): 0ns | | - TotalReadThroughput: 0.000 B/sec | | DataSource: | | - DataSourceType: FileDataSource | | - FileScanner: | | - CastChunkTime: 0ns | | - CreateChunkTime: 227.100us | | - FileReadCount: 3 | | - FileReadTime: 253.765us | | - FillTime: 6.892ms | | - MaterializeTime: 133.637us | | - ReadTime: 0ns | | - ScannerTotalTime: 9.292ms | +-----------------------------------------------------------+ 76 rows in set (0.00 sec)
附录
运维常用 SQL
本节仅适用于存算一体集群。
查询每分钟吞吐量
-- overall
select date_trunc('minute', load_finish_time) as t,count(*) as tpm,sum(SCAN_BYTES) as scan_bytes,sum(sink_rows) as sink_rows from _statistics_.loads_history group by t order by t desc limit 10;
-- table
select date_trunc('minute', load_finish_time) as t,count(*) as tpm,sum(SCAN_BYTES) as scan_bytes,sum(sink_rows) as sink_rows from _statistics_.loads_history where table_name = 't' group by t order by t desc limit 10;
查询表的 RowsetNum 和 SegmentNum
-- overall
select * from information_schema.be_tablets t, information_schema.tables_config c where t.table_id = c.table_id order by num_segment desc limit 5;
select * from information_schema.be_tablets t, information_schema.tables_config c where t.table_id = c.table_id order by num_rowset desc limit 5;
-- table
select * from information_schema.be_tablets t, information_schema.tables_config c where t.table_id = c.table_id and table_name = 't' order by num_segment desc limit 5;
select * from information_schema.be_tablets t, information_schema.tables_config c where t.table_id = c.table_id and table_name = 't' order by num_rowset desc limit 5;
- 高 RowsetNum (>100) 表示导入过于频繁。您可以考虑减少频率或增加 Compaction 线程。
- 高 SegmentNum (>100) 表示每次导入的段过多。您可以考虑增加 Compaction 线程或采用随机分布策略。
检查数据倾斜
节点间的数据倾斜
-- overall
SELECT tbt.be_id, sum(tbt.DATA_SIZE) FROM information_schema.tables_config tb JOIN information_schema.be_tablets tbt ON tb.TABLE_ID = tbt.TABLE_ID group by be_id;
-- table
SELECT tbt.be_id, sum(tbt.DATA_SIZE) FROM information_schema.tables_config tb JOIN information_schema.be_tablets tbt ON tb.TABLE_ID = tbt.TABLE_ID WHERE tb.table_name = 't' group by be_id;
如果检测到节点级别的倾斜,您可以考虑使用更高基数的列作为分布键或采用随机分布策略。
tablet 间的数据倾斜
select tablet_id,t.data_size,num_row,visible_version,num_version,num_rowset,num_segment,PARTITION_NAME from information_schema.partitions_meta m, information_schema.be_tablets t where t.partition_id = m.partition_id and m.partition_name = 'att' and m.table_name='att' order by t.data_size desc;
加载的常见监控指标
BE Load
这些指标在 Grafana 的 BE Load 类别下可用。如果找不到此类别,请确认您正在使用 最新的 Grafana 仪表板模板。
ThreadPool
这些指标有助于分析线程池的状态,例如任务是否积压,或任务在等待中花费的时间。目前,有四个受监控的线程池:
async_delta_writermemtable_flushsegment_replicate_syncsegment_flush
每个线程池包括以下指标:
| 名称 | 描述 |
|---|---|
| rate | 任务处理速率。 |
| pending | 任务在队列中等待的时间。 |
| execute | 任务执行时间。 |
| total | 池中可用的最大线程数。 |
| util | 给定时间段内的池利用率;由于采样不准确,在负载较重时可能超过 100%。 |
| count | 队列中任务的瞬时数量。 |
- 积压的可靠指标是 pending duration 是否持续增加。workers util 和 queue count 是必要但不充分的指标。
- 如果发生积压,使用 rate 和 execute duration 确定是由于负载增加还是处理速度变慢。
- workers util 有助于评估池的繁忙程度,从而指导调优工作。
LoadChannel::add_chunks
这些指标有助于分析 LoadChannel::add_chunks 在收到 BRPC tablet_writer_add_chunks 请求后的行为。
| 名称 | 描述 |
|---|---|
| rate | add_chunks 请求的处理速率。 |
| execute | add_chunks 的平均执行时间。 |
| wait_memtable | 主副本的 MemTable 刷新的平均等待时间。 |
| wait_writer | 主副本的异步 delta writer 执行写入/提交的平均等待时间。 |
| wait_replica | 次要副本完成段刷新的平均等待时间。 |
- latency 指标等于
wait_memtable、wait_writer和wait_replica的总和。 - 高等待比率表明下游瓶颈,应进一步分析。
Async Delta Writer
这些指标有助于分析 async delta writer 的行为。
| 名称 | 描述 |
|---|---|
| rate | 写入/提交任务的处理速率。 |
| pending | 在线程池队列中等待的时间。 |
| execute | 处理单个任务的平均时间。 |
| wait_memtable | 等待 MemTable 刷新的平均时间。 |
| wait_replica | 等待段同步的平均时间。 |
- 每个任务的总时间(从上游的角度)等于 pending 加上 execute。
- execute 进一步包括 wait_memtable 加上 wait_replica。
- 高 pending 时间可能表明 execute 较慢或线程池规模不足。
- 如果 wait 占据 execute 的大部分时间,则下游阶段是瓶颈;否则,瓶颈可能在 writer 的逻辑内部。
MemTable Flush
这些指标分析 MemTable flush 性能。
| 名称 | 描述 |
|---|---|
| rate | MemTable 的刷新速率。 |
| memory-size | 每秒刷新到内存的数据量。 |
| disk-size | 每秒写入磁盘的数据量。 |
| execute | 任务执行时间。 |
| io | 刷新任务的 I/O 时间。 |
- 通过比较 rate 和 size,可以确定工作负载是否在变化或是否发生了大规模导入——例如,小 rate 但大 size 表示大规模导入。
- 可以使用
memory-size / disk-size估算压缩比。 - 还可以通过检查 io 时间在 execute 中的比例来评估 I/O 是否是瓶颈。
Segment Replicate Sync
| 名称 | 描述 |
|---|---|
| rate | 段同步速率。 |
| execute | 同步单个 tablet 副本的时间。 |
Segment Flush
这些指标分析 segment flush 性能。
| 名称 | 描述 |
|---|---|
| rate | 段刷新速率。 |
| size | 每秒刷新到磁盘的数据量。 |
| execute | 任务执行时间。 |
| io | 刷新任务的 I/O 时间。 |
- 通过比较 rate 和 size,可以确定工作负载是否在变化或是否发生了大规模导入——例如,小 rate 但大 size 表示大规模导入。
- 还可以通过检查 io 时间在 execute 中的比例来评估 I/O 是否是瓶颈。
本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。
