大网数据广告活动
数据库部署与 SQL 参考

Apache Doris 中文参考:Amazon Aurora PostgreSQL

· 52CE 我爱测

Doris 持续导入支持从 **Amazon Aurora PostgreSQL-Compatible Edition 14 及以上版本** 同步数据。同步前需要在 Aurora 集群侧开启逻辑复制(Logical Replication)并完成相关授权。本文档面向 DBA 与数据工程师,提供完整的前置配置步骤。

Doris 持续导入为实验性功能,自 Doris 4.1.5 版本起支持。

Doris 持续导入支持从 Amazon Aurora PostgreSQL-Compatible Edition 14 及以上版本 同步数据。同步前需要在 Aurora 集群侧开启逻辑复制(Logical Replication)并完成相关授权。本文档面向 DBA 与数据工程师,提供完整的前置配置步骤。

前置检查清单

在开始配置前,请确认以下信息:

检查项 要求
Aurora PostgreSQL 版本 14 及以上
操作权限 拥有 AWS RDS 控制台修改集群参数组的权限
数据库权限 拥有创建用户、授权及创建 Publication 的权限
维护窗口 可接受重启 Aurora 写入实例(修改逻辑复制参数后需要重启)

配置流程

整个配置流程包含 5 个步骤:

  1. 检查当前逻辑复制配置状态
  2. 配置集群参数组
  3. 应用集群参数组并重启实例
  4. 创建 Doris 同步用户并授权
  5. 根据 Doris 版本配置 Publication

如果第 1 步检查发现逻辑复制已经开启,则可直接跳到 步骤四 创建同步用户。

步骤一:检查当前配置

目的: 判断 Aurora 集群是否已开启逻辑复制,决定是否需要修改参数组。

连接到 Aurora 写入实例,执行以下 SQL:

SHOW rds.logical_replication;

根据返回结果选择后续操作:

返回值 含义 后续操作
on 逻辑复制已开启 跳至 步骤四:创建同步用户
off 逻辑复制未开启 继续 步骤二:配置集群参数组

步骤二:配置集群参数组

目的: 创建一个开启逻辑复制的 DB Cluster Parameter Group,供 Aurora 集群使用。

操作步骤:

  1. 登录 AWS RDS 控制台。

  2. 在左侧导航栏选择 Parameter groups,点击 Create parameter group。

  3. 类型选择 DB Cluster Parameter Group,并选择对应的 Aurora PostgreSQL 版本族。

  4. 编辑刚刚创建的集群参数组,搜索 rds.logical_replication,将值设置为 1:

    [图示请参阅官方原文]

  5. 点击 Save Changes 保存。

关键参数说明:

参数 推荐值 说明
rds.logical_replication 1 开启逻辑复制;0 表示关闭

步骤三:应用集群参数组并重启

目的: 将新建的参数组绑定到目标 Aurora 集群,并通过重启写入实例使配置生效。

操作步骤:

  1. 在 RDS 控制台选择目标 Aurora 集群,点击 Modify。
  2. 在 DB cluster parameter group 中选择步骤二创建的集群参数组。
  3. 选择 Apply immediately 立即应用。
  4. 重启 Aurora 写入实例,使配置生效。

修改 rds.logical_replication 参数需要重启 Aurora 写入实例才能生效,请在业务低峰期进行操作。

步骤四:创建同步用户

目的: 为 Doris 持续导入创建一个专用账号,并授予读取数据与执行复制所需的最小权限。

  1. 创建专用用户:

    CREATE USER doris_sync PASSWORD '<password>';
    
  2. 授予 Schema 与表的读取权限(以 public Schema 为例,请根据实际情况替换):

    GRANT USAGE ON SCHEMA "public" TO doris_sync;
    GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO doris_sync;
    ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO doris_sync;
    
  3. 授予复制权限:

    GRANT rds_replication TO doris_sync;
    

授权说明:

权限 作用
USAGE ON SCHEMA 允许访问指定 Schema
SELECT ON ALL TABLES 允许读取 Schema 中现有所有表的数据
ALTER DEFAULT PRIVILEGES ... GRANT SELECT 自动授予该 Schema 中后续新建表的读取权限
rds_replication Aurora PostgreSQL 中执行逻辑复制所需的角色

步骤五:配置 Publication

默认情况下,无需手动创建 Publication。未设置 publication_name 时,Doris 会使用同步账号创建名为 doris_pub_<job_id> 的 Publication,并在删除作业时清理,因此同步账号需要具有创建 Publication 的权限。

如果在创建 Streaming Job 时显式设置 publication_name,则需要预先创建同名 Publication。自定义 Publication 必须包含作业同步的全部源表,并由用户负责维护和清理。例如:

CREATE PUBLICATION doris_pub_custom
FOR TABLE public.orders, public.customers;

创建作业时配置 "publication_name" = "doris_pub_custom"。名称只能包含小写字母、数字和下划线,不能以数字开头,最长 63 个字符。

FAQ

Q1:执行 SHOW rds.logical_replication; 返回 on,还需要做什么?

无需修改集群参数组,也不需要重启实例。直接从 步骤四:创建同步用户 开始即可。

Q2:Aurora PostgreSQL 13 或更早版本支持吗?

不支持。Doris 持续导入要求 Aurora PostgreSQL 14 及以上版本。

Q3:可以使用自定义名称的 Publication 吗?

可以通过 publication_name 指定自定义名称,但必须在创建作业前创建该 Publication,并确保其包含所有同步表。

Q4:必须使用 superuser 账号同步吗?

不必须。省略 publication_name 时 Doris 会自动创建和管理默认 Publication;只有使用自定义 Publication 时才需要预先创建。

Troubleshooting

问题现象 可能原因 解决方法
SHOW rds.logical_replication; 仍返回 off 未将新参数组绑定集群,或未重启写入实例 确认 DB cluster parameter group 已切换为新参数组,并重启写入实例
创建用户或授权失败 当前登录账号权限不足 使用具备 rds_superuser 或等价权限的账号登录后操作
GRANT rds_replication 报错 当前 Aurora 版本过低或集群非 Aurora PostgreSQL 升级到 Aurora PostgreSQL 14 及以上版本
创建默认 Publication 失败 同步账号缺少创建 Publication 的权限 为同步账号授予所需权限,或由管理员预先创建自定义 Publication 并配置 publication_name
自定义 Publication 不存在 配置了 publication_name,但未预先创建同名 Publication 按步骤五创建 Publication,或删除 publication_name 配置

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。