大网数据广告活动
数据库部署与 SQL 参考

StarRocks 中文参考:CREATE PIPE

· 52CE 我爱测

StarRocks 自 3.2.3 版本起支持 CREATE [OR REPLACE] PIPE。使用 CREATE [OR REPLACE] PIPE 时,如果指定的 与当前数据库里的某个已有的 Pipe 名称相同,则新建的 Pipe 会取代已有的 Pipe。

CREATE PIPE

功能

创建一个 Pipe,用于定义一个实现数据导入的 INSERT INTO SELECT FROM FILES 语句。该命令自 3.2 版本起支持。

语法

CREATE [OR REPLACE] PIPE [db_name.]<pipe_name> 
[PROPERTIES ("<key>" = "<value>"[, "<key> = <value>" ...])]
AS <INSERT_SQL>

StarRocks 自 3.2.3 版本起支持 CREATE [OR REPLACE] PIPE。使用 CREATE [OR REPLACE] PIPE 时,如果指定的 pipe_name 与当前数据库里的某个已有的 Pipe 名称相同,则新建的 Pipe 会取代已有的 Pipe。

参数说明

db_name

Pipe 所属的数据库的名称。

pipe_name

Pipe 的名称。该名称在 Pipe 所在的数据库内必须唯一。命名要求参见系统限制。

NOTICE

每个 Pipe 从属于一个数据库。删除 Pipe 所在的数据库后,该 Pipe 也会随之删除,并且该 Pipe 不会随数据库的恢复而恢复。

INSERT_SQL

INSERT INTO SELECT FROM FILES 语句,用于从指定的源数据文件导入数据到目标表。

有关如何使用表函数 FILES(),参见 FILES。

PROPERTIES

用于控制 Pipe 执行的一些参数。格式:"key" = "value"。

参数 默认值 参数描述
AUTO_INGEST TRUE 是否启用自动增量导入。取值范围:TRUE 和 FALSE。TRUE 表示开启自动增量导入。FALSE 表示只导入作业启动时指定的数据文件内容,后续新增或修改的文件内容不导入。对于批量导入来说,可以将其设置为 FALSE。
POLL_INTERVAL 300 (second) 自动增量导入的轮询间隔。
BATCH_SIZE 1 GB 导入批次大小。如果参数取值中不指定单位,则使用默认单位 Byte。
BATCH_FILES 256 导入批次文件数量。

示例

在当前数据库下,创建一个名为 user_behavior_replica 的 Pipe,用于把 s3://starrocks-examples/user_behavior_ten_million_rows.parquet 中的数据导入到表 user_behavior_replica 中:

CREATE PIPE user_behavior_replica
PROPERTIES
(
    "AUTO_INGEST" = "TRUE"
)
AS
INSERT INTO user_behavior_replica
SELECT * FROM FILES
(
    "path" = "s3://starrocks-examples/user_behavior_ten_million_rows.parquet",
    "format" = "parquet",
    "aws.s3.region" = "us-east-1",
    "aws.s3.access_key" = "AAAAAAAAAAAAAAAAAAAA",
    "aws.s3.secret_key" = "BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB"
); 

说明

把上面命令示例中的 AAA 和 BBB 替换成真实有效的 Access Key 和 Secret Key 作为访问凭证。由于这里使用的数据对象对所有合法的 AWS 用户开放,因此您填入任何真实有效的 Access Key 和 Secret Key 都可以。

该示例以基于 IAM User 的认证鉴权方式为例,并假设 Parquet 源文件与 StarRocks 目标表的结构相同。有关认证方式和语句详情,参见配置 AWS 认证信息 FILES。

相关文档

本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
StarRocks 文档贡献者
适用范围
main 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。