大网数据广告活动
数据库部署与 SQL 参考

部署完整 Doris 存算分离集群

· 52CE 我爱测

本文面向首次在 Kubernetes 上搭建 Doris 存算分离集群的用户,提供从零部署到可写入数据的端到端教程。读完本文你将能够:

本文面向首次在 Kubernetes 上搭建 Doris 存算分离集群的用户,提供从零部署到可写入数据的端到端教程。读完本文你将能够:

  • 完成 FoundationDB(元数据存储)的部署或接入
  • 在 Kubernetes 上部署 Doris Operator
  • 通过 Doris Operator 部署一套完整的存算分离集群
  • 通过 SQL 创建对象存储后端(Storage Vault)

部署成果

完成本教程后,你将得到一个由以下组件构成的 Doris 存算分离集群:

组件 说明 默认副本数
FE 负责 SQL 解析和协调 1
MS (MetaService) 元数据管理 1
计算组 (CG) 数据导入和缓存 2
FoundationDB 元数据存储 -
Storage Vault S3 兼容对象存储 -

部署路径概览

整个流程按顺序分为 5 个步骤,每一步的输入与产出如下:

步骤 阶段目标 输入 输出
第 1 步 部署 FoundationDB K8s 集群 / 可用机器 可用的 FDB 集群 + 访问信息
第 2 步 部署 Doris Operator K8s 集群访问权限 运行中的 Operator + CRD
第 3 步 部署 Doris 存算分离集群 ddc-sample.yaml + FDB 访问信息 运行中的存算分离集群
第 4 步 创建远程存储后端 运行中的集群 + S3 兼容对象存储凭证 可用于数据持久化的 Storage Vault
第 5 步 连接集群并端到端验证 第 4 步建立的 MySQL 连接 通过读写验证的可用集群

完成第 4 步后集群即可写入数据,第 5 步通过 SQL 完成端到端验证。如需对 FE / MS / 计算组 做进阶定制,参见文末 进阶配置 一节。

第 1 步:部署 FoundationDB

存算分离集群依赖 FoundationDB(FDB)存储元数据,部署前必须先准备好可用的 FDB。根据现有基础设施选择部署方式:

部署方式 适用场景 后续操作
机器直接部署(推荐) 已有可用物理机 / 虚拟机 参考 存算分离 - 部署前准备 完成部署,确保部署机与 K8s 集群在同一局域网
Kubernetes 上部署 希望统一在 K8s 中管理 FDB 直接执行下方"K8s 快速部署"

K8s 快速部署(最简通道)

依次执行以下 4 步即可在 K8s 上拉起一个最简 FDB 集群(单副本):

1. 下发 FoundationDB CRD:

kubectl apply -f https://raw.githubusercontent.com/FoundationDB/fdb-kubernetes-operator/main/config/crd/bases/apps.foundationdb.org_foundationdbclusters.yaml
kubectl apply -f https://raw.githubusercontent.com/FoundationDB/fdb-kubernetes-operator/main/config/crd/bases/apps.foundationdb.org_foundationdbbackups.yaml
kubectl apply -f https://raw.githubusercontent.com/FoundationDB/fdb-kubernetes-operator/main/config/crd/bases/apps.foundationdb.org_foundationdbrestores.yaml

2. 部署 fdb-kubernetes-operator:

kubectl apply -f https://raw.githubusercontent.com/apache/doris-operator/master/config/operator/fdb-operator.yaml

3. 部署 FoundationDB 集群(单副本最简模式):

kubectl apply -f https://raw.githubusercontent.com/apache/doris-operator/refs/heads/master/doc/examples/disaggregated/fdb/cluster-single.yaml

4. 验证 FDB 状态:

kubectl get fdb

kubectl get fdb 返回的 AVAILABLE 列为 true 时,表示 FDB 集群已就绪。

单副本模式仅适合开发测试。生产环境推荐使用两副本模式,并且 Kubernetes 集群至少需要三台宿主机。其他部署形态(两副本、生产部署、私有仓库镜像、FQDN 模式等)请参考 部署 FoundationDB。

第 2 步:部署 Doris Operator

输入:Kubernetes 集群访问权限 操作:下发 CRD 资源定义,部署 Operator 及 RBAC 规则 输出:Doris Operator 运行在 doris namespace 中

1. 下发 CRD 资源定义

根据集群现状选择对应命令:

  • 场景 A:首次部署(或只部署存算分离)——下发全部 CRD:

    kubectl create -f https://raw.githubusercontent.com/apache/doris-operator/master/config/crd/bases/crds.yaml
    
  • 场景 B:已部署过非存算分离集群——仅追加存算分离相关的 CRD:

    kubectl create -f https://raw.githubusercontent.com/apache/doris-operator/master/config/crd/bases/disaggregated.cluster.doris.com_dorisdisaggregatedclusters.yaml
    

2. 部署 Operator 及 RBAC 规则

执行如下命令部署 Doris Operator 及其依赖的 RBAC 规则:

kubectl apply -f https://raw.githubusercontent.com/apache/doris-operator/master/config/operator/disaggregated-operator.yaml

部署完成后检查 Operator Pod 状态:

kubectl -n doris get pods
NAME                              READY   STATUS    RESTARTS   AGE
doris-operator-6b97df65c4-xwvw8   1/1     Running   0          19s

STATUS 为 Running 表示 Operator 已就绪。

第 3 步:部署存算分离集群

输入:部署样例 ddc-sample.yaml + FoundationDB 访问信息 操作:下载样例、按需修改关键字段、部署集群 输出:运行中的 Doris 存算分离集群

1. 下载部署样例

从 Doris Operator 仓库下载默认部署样例:

curl -O https://raw.githubusercontent.com/apache/doris-operator/master/doc/examples/disaggregated/cluster/ddc-sample.yaml

2. 修改关键配置

样例下载后,至少需要修改以下两类字段才能部署,其余字段保留默认即可:

字段 必改 / 可选 说明
spec.metaService.fdb 必改 第 1 步部署的 FDB 访问信息(地址或 ConfigMap 二选一)
spec.computeGroups[].image 必改 BE 镜像版本,需匹配你期望的 Doris 版本
spec.metaService.image 可选 MetaService 镜像版本,默认使用样例中的版本
spec.feSpec.electionNumber 可选 FE Follower 数量,默认 1;部署后不可修改
spec.computeGroups[].replicas 可选 计算组副本数,默认按样例
spec.feSpec.requests / limits 可选 FE 计算资源限制(推荐生产环境配置)

修改后的 spec 段大致如下(方式 A:FDB 部署在机器上):

spec:
  metaService:
    fdb:
      address: ${fdbEndpoint}      # 必改:FDB 客户端访问地址(机器部署)
  feSpec:
    electionNumber: 1
    requests:
      cpu: 8
      memory: 8Gi
    limits:
      cpu: 8
      memory: 8Gi
  computeGroups:
    - uniqueId: cg1
      image: ${beImage}            # 必改:BE 镜像
      replicas: 2
      requests:
        cpu: 8
        memory: 8Gi
      limits:
        cpu: 8
        memory: 8Gi

方式 B:FDB 部署在 K8s 上——把 metaService.fdb 段替换为:

spec:
  metaService:
    fdb:
      configMapNamespaceName:
        name: ${foundationdbConfigMapName}    # 必改:fdb-kubernetes-operator 生成的 ConfigMap 名(默认是 ${FDB 资源名}-config)
        namespace: ${namespace}               # 必改:ConfigMap 所在命名空间

ConfigMap 的获取方法可执行 kubectl get configmap 查看(详见 部署 FoundationDB - 获取访问信息 ConfigMap)。

参数说明:

参数 说明
${fdbEndpoint} FoundationDB 客户端访问地址。Linux 虚机默认部署时存储在 /etc/foundationdb/fdb.cluster,详见 FoundationDB cluster file 文档
${beImage} BE 镜像,请使用 Apache Doris 官方镜像仓库 提供的镜像
${foundationdbConfigMapName} fdb-kubernetes-operator 生成的 ConfigMap 名称
${namespace} ConfigMap 所在命名空间

3. 部署并验证

kubectl apply -f ddc-sample.yaml

部署资源下发后,等待集群自动搭建完成。通过以下命令查询集群状态:

kubectl get ddc
NAME                         CLUSTERHEALTH   FEPHASE   CGCOUNT   CGAVAILABLECOUNT   CGFULLAVAILABLECOUNT
test-disaggregated-cluster   green           Ready     2         2                  2

判定就绪标志: CLUSTERHEALTH 为 green 且 CGAVAILABLECOUNT 等于 CGCOUNT。

第 4 步:创建远程存储后端

输入:运行中的 Doris 集群 + S3 兼容对象存储凭证 操作:通过 MySQL 客户端执行 SQL 创建并启用 Vault 输出:配置完成的存储后端,可用于数据持久化

集群启动成功后,需要通过 SQL 将一个对象存储注册为持久化存储后端(Doris 中称为 Vault),并设为默认 Vault,写入的数据才能持久化。

1. 获取 FE Service 的访问地址

通过以下命令查找可访问 FE 服务的 Service:

kubectl get svc

示例输出:

NAME                                     TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                               AGE
test-disaggregated-cluster-fe            ClusterIP   10.96.147.97   <none>        8030/TCP,9020/TCP,9030/TCP,9010/TCP   15m
test-disaggregated-cluster-fe-internal   ClusterIP   None           <none>        9030/TCP                              15m
test-disaggregated-cluster-ms            ClusterIP   10.96.169.8    <none>        5000/TCP                              15m
test-disaggregated-cluster-cg1           ClusterIP   10.96.47.90    <none>        9060/TCP,8040/TCP,9050/TCP,8060/TCP   14m
test-disaggregated-cluster-cg2           ClusterIP   10.96.50.199   <none>        9060/TCP,8040/TCP,9050/TCP,8060/TCP   14m

不带 -internal 后缀的 Service 用于外部访问。

2. 通过 MySQL 客户端连接

在 Kubernetes 集群中拉起一个包含 MySQL Client 的临时 Pod 并进入:

kubectl run mysql-client --image=mysql:5.7 -it --rm --restart=Never -- /bin/bash

在 Pod 内部使用 FE Service 名称连接 Doris 集群:

mysql -uroot -P9030 -h test-disaggregated-cluster-fe

3. 创建 Storage Vault

通过 SQL 创建支持 S3 协议的对象存储作为 Vault。以下示例使用阿里云 OSS:

CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
        "type"="S3",
        "s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
        "s3.region" = "bj",
        "s3.bucket" = "bucket",
        "s3.root.path" = "big/data/prefix",
        "s3.access_key" = "your-ak",
        "s3.secret_key" = "your-sk",
        "provider" = "OSS"
    );

其他存储后端的创建方法以及各字段详细说明,请参考存算分离文档中的 管理 Storage Vault。

4. 设置默认 Storage Vault

SET ${vaultName} AS DEFAULT STORAGE VAULT;

其中,${vaultName} 为希望使用的 Vault 名称(如上一步中的 s3_vault)。

至此,集群已具备写入条件,下一步通过 SQL 完成端到端验证。

第 5 步:连接集群并端到端验证

输入:第 4 步建立的 MySQL 连接 操作:执行验证 SQL,确认集群已就绪并可正常读写 输出:通过端到端验证的可用集群

延续第 4 步中已建立的 MySQL 客户端连接(如已退出,重复 第 4 步 - 通过 MySQL 客户端连接),依次执行以下命令完成验证。

1. 确认 BE 节点存活

SHOW BACKENDS;

输出中各 BE 节点的 Alive 列均为 true,表示计算组中的 BE 已就绪并被 FE 识别。

2. 确认 Storage Vault 已生效

SHOW STORAGE VAULTS;

输出中能看到第 4 步创建的 Vault(如 s3_vault),且其 IsDefault 为 true,表示存储后端已就绪。

3. 写入并查询测试数据

依次执行如下 SQL,完成"建库 → 建表 → 写入 → 查询"的完整链路:

CREATE DATABASE IF NOT EXISTS demo;
USE demo;

CREATE TABLE IF NOT EXISTS hello (
    id INT,
    msg VARCHAR(64)
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 1;

INSERT INTO hello VALUES (1, 'hello doris');
SELECT * FROM hello;

若 SELECT 返回写入的数据,表示 FE → MetaService → 计算组 → Storage Vault 端到端链路全部畅通,集群已可投入使用。

进阶配置

完成上述 5 步后,集群即可投入使用。生产场景下通常还需要按需做进一步定制,可按以下索引查阅对应文档:

关注点 参考文档 主要内容
FoundationDB 部署细节、两副本/生产模式、FQDN 部署、私有镜像仓库 部署 FoundationDB FDB 部署的完整原理与所有部署形态
切换 MetaService 镜像、调资源、定制启动参数、调存活探测超时 配置 MetaService spec.metaService.* 全量字段
调 FE 资源、改 Follower 数量、自定义启动配置、配置访问模式(NodePort / LoadBalancer)、持久化存储 配置 FE spec.feSpec.* 全量字段
单组/多组计算组、限制资源、配置访问模式、缓存与日志的持久化 配置计算组 spec.computeGroups[*] 全量字段
设置 root / 非 root 管理用户密码、Secret 凭证、挂载 Kerberos 认证文件 配置认证 集群级凭证与 Kerberos
BE 扩缩容、新增或移除计算组、检查缩容和 PVC 清理 调整计算容量 操作步骤、退役行为与结果验证

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。