大网数据广告活动
数据库部署与 SQL 参考

Apache Doris 中文参考:HDFS | Table Valued Functions

· 52CE 我爱测

HDFS 表函数(table-valued-function,tvf),可以让用户像访问关系表格式数据一样,读取并访问 HDFS 上的文件内容。目前支持 文件格式。

HDFS

描述

HDFS 表函数(table-valued-function,tvf),可以让用户像访问关系表格式数据一样,读取并访问 HDFS 上的文件内容。目前支持csv/csv_with_names/csv_with_names_and_types/json/parquet/orc文件格式。

语法

HDFS(
    "uri" = "<uri>",
    "fs.defaultFS" = "<fs_defaultFS>",
    "hadoop.username" = "<hadoop_username>",
    "format" = "<format>"
    [, "<optional_property_key>" = "<optional_property_value>" [, ...] ]
  );

必填参数 (Required Parameters)

参数 说明
uri 访问 HDFS 的 URI。如果 URI 路径不存在或文件为空,HDFS TVF 将返回空集合。
fs.defaultFS HDFS 的默认文件系统 URI
hadoop.username 必填,可以是任意字符串,但不能为空。
format 文件格式,必填,目前支持 csv/csv_with_names/csv_with_names_and_types/json/parquet/orc/avro

可选参数 (Optional Parameters)

上述语法中的 optional_property_key 可以按需从以下列表中选取对应的参数,optional_property_value 则为该参数的值

参数 说明 备注
hadoop.security.authentication HDFS 安全认证类型
hadoop.username 备用 HDFS 用户名
hadoop.kerberos.principal Kerberos 主体
hadoop.kerberos.keytab Kerberos 密钥表
dfs.client.read.shortcircuit 启用短路读取
dfs.domain.socket.path 域套接字路径
dfs.nameservices HA 模式下的命名服务
dfs.ha.namenodes.your-nameservices HA 模式下的 namenode 节点配置
dfs.namenode.rpc-address.your-nameservices.your-namenode 指定 namenode 的 RPC 地址
dfs.client.failover.proxy.provider.your-nameservices 指定 failover 的代理提供程序
column_separator 列分割符,默认为 \t
line_delimiter 行分割符,默认为 \n
compress_type 目前支持 UNKNOWN/PLAIN/GZ/LZO/BZ2/LZ4FRAME/DEFLATE/SNAPPYBLOCK。默认值为 UNKNOWN, 将会根据 uri 的后缀自动推断类型
read_json_by_line 对 JSON 格式导入,默认为 true 参考:JSON Load
strip_outer_array 对 JSON 格式导入,默认为 false 参考:JSON Load
json_root 对 JSON 格式导入,默认为空 参考:JSON Load
json_paths 对 JSON 格式导入,默认为空 参考:JSON Load
num_as_string 对 JSON 格式导入,默认为 false 参考:JSON Load
fuzzy_parse 对 JSON 格式导入,默认为 false 参考:JSON Load
trim_double_quotes 对 CSV 格式导入,布尔类型,默认为 false,为 true 时裁剪每个字段的外层双引号
skip_lines 对 CSV 格式导入,整数类型,默认为 0,跳过 CSV 文件前几行,csv_with_names 或 csv_with_names_and_types 时失效
path_partition_keys 指定文件路径中携带的分区列名,例如/path/to/city=beijing/date="2023-07-09", 则填写 path_partition_keys="city,date",将会自动从路径中读取相应列名和列值进行导入
resource 指定 Resource 名,HDFS TVF 可以利用已有的 HFDS Resource 来直接访问 HDFS。创建 HDFS Resource 的方法可以参照 CREATE-RESOURCE 仅支持 2.1.4 及以上版本
enable_mapping_varbinary dev 版本仅作为兼容参数接收,值会被忽略,外部二进制固定映射到 VARBINARY。4.1.5 中该 TVF 选项仍可配置,默认 false。 4.0.3 起支持
enable_mapping_timestamp_tz 自 4.1.5 版本起仅作为兼容参数接收,值会被忽略。Parquet 的 isAdjustedToUTC=true Timestamp 和 ORC 的 TIMESTAMP_INSTANT 固定映射为 TIMESTAMPTZ,设为 false 也不能恢复 DATETIME。dev 版本的二进制映射同样固定启用;4.1.5 的 enable_mapping_varbinary 仍可单独配置,默认 false。 在 4.0.3 之后开始支持
hive.parquet.time-zone 可选字符串,默认空;自 4.1.5 起支持。指定 Parquet INT96 写入端时区,支持 IANA 时区或 -12:00 至 +14:00 偏移,不支持 CST / PRC 等短别名;详见 Parquet。 4.1.5 起

权限控制

权限(Privilege) 对象(Object) 说明(Notes)
USAGE_PRIV Resource 使用 resource 参数时,需要对指定 Resource 拥有 USAGE 权限。

示例

  • 读取并访问 HDFS 存储上的 CSV 格式文件

    select * from hdfs(
                  "uri" = "hdfs://127.0.0.1:8424/user/doris/csv_format_test/student.csv",
                  "fs.defaultFS" = "hdfs://127.0.0.1:8424",
                  "hadoop.username" = "doris",
                  "format" = "csv");
    
      +------+---------+------+
      | c1   | c2      | c3   |
      +------+---------+------+
      | 1    | alice   | 18   |
      | 2    | bob     | 20   |
      | 3    | jack    | 24   |
      | 4    | jackson | 19   |
      | 5    | liming  | 18   |
      +------+---------+------+
    
  • 读取并访问 HA 模式的 HDFS 存储上的 CSV 格式文件

    select * from hdfs(
                "uri" = "hdfs://my_hdfs/user/doris/csv_format_test/student.csv",
                "fs.defaultFS" = "hdfs://my_hdfs",
                "hadoop.username" = "doris",
                "format" = "csv",
                "dfs.nameservices" = "my_hdfs",
                "dfs.ha.namenodes.my_hdfs" = "nn1,nn2",
                "dfs.namenode.rpc-address.my_hdfs.nn1" = "nanmenode01:8020",
                "dfs.namenode.rpc-address.my_hdfs.nn2" = "nanmenode02:8020",
                "dfs.client.failover.proxy.provider.my_hdfs" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
    
      +------+---------+------+
      | c1   | c2      | c3   |
      +------+---------+------+
      | 1    | alice   | 18   |
      | 2    | bob     | 20   |
      | 3    | jack    | 24   |
      | 4    | jackson | 19   |
      | 5    | liming  | 18   |
      +------+---------+------+
    
  • 可以配合 desc function 使用。

    desc function hdfs(
                "uri" = "hdfs://127.0.0.1:8424/user/doris/csv_format_test/student_with_names.csv",
                "fs.defaultFS" = "hdfs://127.0.0.1:8424",
                "hadoop.username" = "doris",
                "format" = "csv_with_names");
    

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。