大网数据广告活动
数据库部署与 SQL 参考

集成 Databricks Unity Catalog

· 52CE 我爱测

随着企业在 Lakehouse 架构下统一管理不断增长的数据资产,对跨平台、高性能、受治理的数据访问能力的需求愈加迫切。Apache Doris 作为新一代实时分析型数据库,现已实现与 Databricks Unity Catalog 的深度集成,使企业能够在统一的治理体系下,通过 Doris 直接访问并高效查询 Databricks 管理的数据湖,实现数据的无缝衔接。

随着企业在 Lakehouse 架构下统一管理不断增长的数据资产,对跨平台、高性能、受治理的数据访问能力的需求愈加迫切。Apache Doris 作为新一代实时分析型数据库,现已实现与 Databricks Unity Catalog 的深度集成,使企业能够在统一的治理体系下,通过 Doris 直接访问并高效查询 Databricks 管理的数据湖,实现数据的无缝衔接。

通过本文档,您将深入了解:

  • Databricks 环境准备:如何在 Databricks 中创建 External Location、Catalog 和 Iceberg 表,以及相关的权限配置

  • Doris 连接 Unity Catalog:如何通过 Doris 连接 Databricks Unity Catalog 并访问 Iceberg 表

注意:本功能需要 Doris 3.1.3 及以上版本。

Databricks 环境准备

创建 External Location

在 Unity Catalog 中,External Location 是一个用于将云对象存储中的路径与存储凭据(Storage Credential)关联的安全对象。External Location 支持外部访问,Unity Catalog 可以通过 Credential Vending 功能为外部系统发放短期凭证,允许外部系统访问这些路径。

[图示请参阅官方原文]

本文使用 AWS Quickstart 在 AWS S3 中创建 External Location。

[图示请参阅官方原文]

创建完成后,可以看到 External Catalog,以及对应的 Credential:

[图示请参阅官方原文]

创建 Catalog

点击界面中的创建 Catalog 选项。

[图示请参阅官方原文]

填写 Catalog 的名称。取消 Use default storage 的勾选,并选择刚才创建的 External Location。

[图示请参阅官方原文]

开启 External Use Schema 权限

点击刚才创建的 Catalog → Permissions → Grant:

[图示请参阅官方原文]

选择 All account users,并勾选 EXTERNAL USE SCHEMA 选项。

[图示请参阅官方原文]

创建 Iceberg 表并写入数据

在 Databricks 的 SQL Editor 中执行以下 SQL 创建 Iceberg 表并写入数据:

CREATE TABLE `my-unity-catalog`.default.iceberg_table (
  id int,
  name string
) USING iceberg;

INSERT INTO `my-unity-catalog`.default.iceberg_table VALUES(1, "jack");

获取 Access Token

点击右上角用户头像,进入 Settings 页面,在 User → Developer 中选择 Access tokens。创建一个新的 Token,供后续 Doris 连接 Unity Catalog 时使用。Token 是一个字符串,形如:dapi4f...

Doris 连接 Unity Catalog

创建 Catalog

-- Use oauth2 credential and vended credentials
CREATE CATALOG dbx_unity_catalog PROPERTIES (
  "uri" = "https://dbc-xx.cloud.databricks.com:443/api/2.1/unity-catalog/iceberg-rest/",
  "type" = "iceberg",
  "warehouse" = "my-unity-catalog",
  "iceberg.catalog.type" = "rest",
  "iceberg.rest.security.type" = "oauth2",
  "iceberg.rest.oauth2.credential" = "clientid:clientsecret",
  "iceberg.rest.oauth2.server-uri" = "https://dbc-xx.cloud.databricks.com:443/oidc/v1/token",
  "iceberg.rest.oauth2.scope" = "all-apis",
  "iceberg.rest.vended-credentials-enabled" = "true"
);

-- Use PAT and vended credentials
CREATE CATALOG dbx_unity_catalog PROPERTIES (
  "uri" = "https://<dbc-account>.cloud.databricks.com/api/2.1/unity-catalog/iceberg-rest/",
  "type" = "iceberg",
  "warehouse" = "my-unity-catalog",
  "iceberg.catalog.type" = "rest",
  "iceberg.rest.security.type" = "oauth2",
  "iceberg.rest.oauth2.token" = "<token>",
  "iceberg.rest.vended-credentials-enabled" = "true"
);

-- Use oauth2 credential and static ak/sk for accessing aws s3
CREATE CATALOG dbx_unity_catalog PROPERTIES (
  "uri" = "https://dbc-xx.cloud.databricks.com:443/api/2.1/unity-catalog/iceberg-rest/",
  "type" = "iceberg",
  "warehouse" = "my-unity-catalog",
  "iceberg.catalog.type" = "rest",
  "iceberg.rest.security.type" = "oauth2",
  "iceberg.rest.oauth2.credential" = "clientid:clientsecret",
  "iceberg.rest.oauth2.server-uri" = "https://dbc-xx.cloud.databricks.com:443/oidc/v1/token",
  "iceberg.rest.oauth2.scope" = "all-apis",
  "s3.endpoint" = "https://s3.<region>.amazonaws.com",
  "s3.access_key" = "<ak>",
  "s3.secret_key" = "<sk>",
  "s3.region" = "<region>"
);

访问 Catalog

创建完成后,即可开始访问 Unity Catalog 中存储的 Iceberg 表:

mysql> USE dbx_unity_catalog.`default`;
Database changed

mysql> SELECT * FROM iceberg_table;
+------+------+
| id   | name |
+------+------+
|    1 | jack |
+------+------+
1 row in set (3.32 sec)

管理 Iceberg 表

同时,也可以直接通过 Doris 在 Unity Catalog 中创建、管理和写入 Iceberg 表:

-- 写入 Unity Catalog 已存在的表
INSERT INTO iceberg_table VALUES(2, "mary");

-- 创建一张分区表
CREATE TABLE partition_table (
  `ts` DATETIME COMMENT 'ts',
  `col1` BOOLEAN COMMENT 'col1',
  `pt1` STRING COMMENT 'pt1',
  `pt2` STRING COMMENT 'pt2'
)
PARTITION BY LIST (day(ts), pt1, pt2) ();

-- 插入数据
INSERT INTO partition_table VALUES("2025-11-12", true, "foo", "bar");

-- 查看表分区信息
SELECT * FROM partition_table$partitions\G
*************************** 1. row ***************************
                    partition: {"ts_day":"2025-11-12", "pt1":"foo", "pt2":"bar"}
                      spec_id: 0
                 record_count: 1
                   file_count: 1
total_data_file_size_in_bytes: 2552
 position_delete_record_count: 0
   position_delete_file_count: 0
 equality_delete_record_count: 0
   equality_delete_file_count: 0
              last_updated_at: 2025-11-18 15:20:45.964000
     last_updated_snapshot_id: 9024874735105617773

总结

通过与 Databricks Unity Catalog 的深度集成,Apache Doris 使企业能够在统一治理框架下,以更高性能、更低成本的方式访问和分析数据湖中的核心资产。这一能力不仅增强了 Lakehouse 架构的整体一致性,也为实时分析、交互式查询以及 AI 场景带来了新的可能性。无论是数据团队、分析工程师还是平台架构师,都可以借助 Doris 在现有数据湖基础上构建更敏捷、更智能的数据应用。

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。