大网数据广告活动
数据库部署与 SQL 参考

本地磁盘分层存储

· 52CE 我爱测

Doris 支持在 SSD 与 HDD 之间进行层级存储。通过结合动态分区,系统可以根据数据冷热特性,将热数据保留在 SSD、将冷数据自动迁移到 HDD,从而在保障热数据高性能读写的同时降低整体存储成本。

Doris 支持在 SSD 与 HDD 之间进行层级存储。通过结合动态分区,系统可以根据数据冷热特性,将热数据保留在 SSD、将冷数据自动迁移到 HDD,从而在保障热数据高性能读写的同时降低整体存储成本。

适用场景

本文档适用于以下场景:

  • 表数据按时间分区,且具有明显的冷热访问特征
  • 集群同时具备 SSD 与 HDD 存储介质
  • 希望对近期热数据使用 SSD 加速查询,对历史冷数据使用 HDD 节约成本
  • 希望通过动态分区自动管理数据生命周期,避免人工迁移

快速导航

核心概念

层级存储基于动态分区实现。Doris 会根据分区的活跃程度自动选择存储介质,并在冷却时间到达后将数据迁移到目标介质。

热分区与冷分区

类型 说明 存储介质 性能特点
热分区 最近活跃、频繁访问的分区 SSD 高 IOPS,低延迟
冷分区 历史数据,访问频率较低 HDD 容量大,成本低

工作机制

层级存储的执行流程如下:

  1. 创建表时启用动态分区,并指定 dynamic_partition.storage_medium = HDD。
  2. 通过 dynamic_partition.hot_partition_num 将当前分区、之前 N - 1 个时间单位的分区和所有未来分区保留在 SSD 上。
  3. 系统为每个热分区设置 storage_cooldown_time(冷却时间)。
  4. 冷却时间到达后,分区数据从 SSD 自动迁移至 HDD。

更多动态分区相关内容,请参考:数据划分 - 动态分区。

参数说明

层级存储依赖以下两个动态分区参数:

参数 作用 默认值 备注
dynamic_partition.hot_partition_num 当 N > 0 时,将当前分区、之前 N - 1 个时间单位的分区和所有未来分区保留在 SSD 上 无 必须配合 storage_medium = HDD 使用
dynamic_partition.storage_medium 指定动态分区的最终存储介质 HDD 设为 SSD 时 hot_partition_num 不再生效

dynamic_partition.hot_partition_num

  • 功能:当取值 N > 0 时,将当前分区、之前 N - 1 个时间单位的分区和所有未来分区保留在 SSD 上,更早的分区使用 HDD。
  • 使用条件:
    • 必须同时设置 dynamic_partition.storage_medium = HDD,否则该参数不会生效。
    • 存储路径下必须存在 SSD 设备,否则分区创建会失败。

示例说明:

假设当前日期为 2021-05-20,按天分区,动态分区配置如下:

dynamic_partition.hot_partition_num = 2
dynamic_partition.start = -3
dynamic_partition.end = 3

系统会自动创建以下分区,并配置对应的存储介质和冷却时间:

p20210517:["2021-05-17", "2021-05-18") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210518:["2021-05-18", "2021-05-19") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210519:["2021-05-19", "2021-05-20") storage_medium=SSD storage_cooldown_time=2021-05-21 00:00:00
p20210520:["2021-05-20", "2021-05-21") storage_medium=SSD storage_cooldown_time=2021-05-22 00:00:00
p20210521:["2021-05-21", "2021-05-22") storage_medium=SSD storage_cooldown_time=2021-05-23 00:00:00
p20210522:["2021-05-22", "2021-05-23") storage_medium=SSD storage_cooldown_time=2021-05-24 00:00:00
p20210523:["2021-05-23", "2021-05-24") storage_medium=SSD storage_cooldown_time=2021-05-25 00:00:00

对于按天分区的表,当天分区的偏移量为 0。当 hot_partition_num = N > 0 且最终存储介质为 HDD 时,偏移量大于 -N 的分区使用 SSD,包括当天、之前 N - 1 天,以及 dynamic_partition.end 创建的所有未来分区。偏移量为 i 的 SSD 分区,其冷却时间为相对当天第 i + N 天的起始时刻。

本例中,偏移量 -3、-2 的分区使用 HDD,偏移量 -1 到 3 的分区使用 SSD。以 2021-05-20 为当前日期,hot_partition_num = 2 时有 5 个 SSD 分区。创建历史分区还需设置 dynamic_partition.create_history_partition = true,见下方完整建表示例。

dynamic_partition.storage_medium

  • 功能:指定动态分区的最终存储介质,可选 HDD(默认)或 SSD。
  • 注意事项:
    • 当设置为 SSD 时,hot_partition_num 参数失效。
    • 此时所有分区均使用 SSD 存储,冷却时间统一为 9999-12-31 23:59:59,即不进行迁移。

使用示例

下述步骤展示如何创建一张支持层级存储的表,并验证分区的存储介质分布。

步骤一:创建分层存储表

目的:建表并启用 SSD/HDD 分层存储。hot_partition_num = 2 时,当天、前一天和所有未来分区使用 SSD,更早的分区使用 HDD。

CREATE TABLE tiered_table (k DATE)
PARTITION BY RANGE(k)()
DISTRIBUTED BY HASH (k) BUCKETS 5
PROPERTIES
(
    "dynamic_partition.storage_medium" = "hdd",
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.hot_partition_num" = "2",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "5",
    "dynamic_partition.create_history_partition" = "true",
    "dynamic_partition.start" = "-3"
);

步骤二:检查分区存储介质

目的:确认分区是否按预期分配到 SSD 和 HDD。

SHOW PARTITIONS FROM tiered_table;

假设建表时当前日期仍为 2021-05-20,以下列出与存储分层相关的预期分区信息:共 7 个分区,其中 5 个使用 SSD,2 个使用 HDD。

p20210517:["2021-05-17", "2021-05-18") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210518:["2021-05-18", "2021-05-19") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210519:["2021-05-19", "2021-05-20") storage_medium=SSD storage_cooldown_time=2021-05-21 00:00:00
p20210520:["2021-05-20", "2021-05-21") storage_medium=SSD storage_cooldown_time=2021-05-22 00:00:00
p20210521:["2021-05-21", "2021-05-22") storage_medium=SSD storage_cooldown_time=2021-05-23 00:00:00
p20210522:["2021-05-22", "2021-05-23") storage_medium=SSD storage_cooldown_time=2021-05-24 00:00:00
p20210523:["2021-05-23", "2021-05-24") storage_medium=SSD storage_cooldown_time=2021-05-25 00:00:00

常见问题(FAQ)

Q1:hot_partition_num 不生效怎么办?

请确认是否同时设置了 dynamic_partition.storage_medium = HDD。仅当最终介质为 HDD 时,热分区配置才会生效。

Q2:可以只用 SSD 存储吗?

可以。将 dynamic_partition.storage_medium 设置为 SSD,所有分区都会使用 SSD,并且不会发生冷却迁移。此时无需配置 hot_partition_num。

Q3:冷却时间到达后数据如何迁移?

当分区的 storage_cooldown_time 到达后,系统会自动将该分区数据从 SSD 迁移到 HDD,无需人工干预。

Q4:层级存储和冷热数据归档(如对象存储)的区别?

SSD/HDD 层级存储用于本地不同磁盘介质间的数据流动,适合中短期冷热分离。若需将历史数据归档到对象存储(S3/HDFS 等),请参考冷热数据分层存储相关文档。

故障排查(Troubleshooting)

错误现象 可能原因 解决方案
分区创建失败 存储路径下没有 SSD 设备 在 BE 节点上配置 SSD 存储路径,或调整为仅使用 HDD 存储
hot_partition_num 设置无效 未设置 storage_medium = HDD 同时配置 dynamic_partition.storage_medium = HDD
所有分区均为 SSD,未冷却到 HDD storage_medium 被设置为 SSD 将 storage_medium 改为 HDD,并配置 hot_partition_num
数据未按预期迁移到 HDD storage_cooldown_time 尚未到达 等待冷却时间到达,或检查时间设置是否正确

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。