大网数据广告活动
数据库部署与 SQL 参考

S3 导入概览

· 52CE 我爱测

Doris 通过 **Streaming Job + S3 TVF** 将 S3 文件分批导入已有的 Doris 表。根据文件生成方式和是否需要持续运行,选择有序导入、通知导入或一次性导入。通知导入和一次性导入自 Doris 4.1.6 版本起支持。

Doris 持续导入为实验性功能,自 Doris 4.1.5 版本起支持。

Doris 通过 Streaming Job + S3 TVF 将 S3 文件分批导入已有的 Doris 表。根据文件生成方式和是否需要持续运行,选择有序导入、通知导入或一次性导入。通知导入和一次性导入自 Doris 4.1.6 版本起支持。

选择导入模式

导入方式 模式 适用场景 结束条件
有序导入 ORDERED_LIST(默认) 文件名按字典序递增,如时间戳或补零序号 持续运行,无新文件时等待
通知导入 NOTIFICATION 文件名为 UUID 或文件乱序到达,通过 AWS S3 事件和独占 SQS 队列发现新文件 持续运行,队列暂时为空时等待
一次性导入 ONE_TIME 已准备好的静态历史文件、独立批次回补 最后一批事务提交后进入 FINISHED

通知导入不补导历史对象,且可能因重复通知而重复导入。三种模式均要求导入期间源对象可读且内容不变。各模式的准备步骤、SQL 示例、参数和使用限制见上表中的指南。

相关文档

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。