HDFS
描述
HDFS 表函数(table-valued-function,tvf),可以让用户像访问关系表格式数据一样,读取并访问 HDFS 上的文件内容。目前支持csv/csv_with_names/csv_with_names_and_types/json/parquet/orc文件格式。
语法
HDFS(
"uri" = "<uri>",
"fs.defaultFS" = "<fs_defaultFS>",
"hadoop.username" = "<hadoop_username>",
"format" = "<format>"
[, "<optional_property_key>" = "<optional_property_value>" [, ...] ]
);
必填参数 (Required Parameters)
| 参数 | 说明 |
|---|---|
uri |
访问 HDFS 的 URI。如果 URI 路径不存在或文件为空,HDFS TVF 将返回空集合。 |
fs.defaultFS |
HDFS 的默认文件系统 URI |
hadoop.username |
必填,可以是任意字符串,但不能为空。 |
format |
文件格式,必填,目前支持 csv/csv_with_names/csv_with_names_and_types/json/parquet/orc/avro |
可选参数 (Optional Parameters)
上述语法中的 optional_property_key 可以按需从以下列表中选取对应的参数,optional_property_value 则为该参数的值
| 参数 | 说明 | 备注 |
|---|---|---|
hadoop.security.authentication |
HDFS 安全认证类型 | |
hadoop.username |
备用 HDFS 用户名 | |
hadoop.kerberos.principal |
Kerberos 主体 | |
hadoop.kerberos.keytab |
Kerberos 密钥表 | |
dfs.client.read.shortcircuit |
启用短路读取 | |
dfs.domain.socket.path |
域套接字路径 | |
dfs.nameservices |
HA 模式下的命名服务 | |
dfs.ha.namenodes.your-nameservices |
HA 模式下的 namenode 节点配置 | |
dfs.namenode.rpc-address.your-nameservices.your-namenode |
指定 namenode 的 RPC 地址 | |
dfs.client.failover.proxy.provider.your-nameservices |
指定 failover 的代理提供程序 | |
column_separator |
列分割符,默认为 \t |
|
line_delimiter |
行分割符,默认为 \n |
|
compress_type |
目前支持 UNKNOWN/PLAIN/GZ/LZO/BZ2/LZ4FRAME/DEFLATE/SNAPPYBLOCK。默认值为 UNKNOWN, 将会根据 uri 的后缀自动推断类型 | |
read_json_by_line |
对 JSON 格式导入,默认为 true |
参考:JSON Load |
strip_outer_array |
对 JSON 格式导入,默认为 false |
参考:JSON Load |
json_root |
对 JSON 格式导入,默认为空 | 参考:JSON Load |
json_paths |
对 JSON 格式导入,默认为空 | 参考:JSON Load |
num_as_string |
对 JSON 格式导入,默认为 false |
参考:JSON Load |
fuzzy_parse |
对 JSON 格式导入,默认为 false |
参考:JSON Load |
trim_double_quotes |
对 CSV 格式导入,布尔类型,默认为 false,为 true 时裁剪每个字段的外层双引号 |
|
skip_lines |
对 CSV 格式导入,整数类型,默认为 0,跳过 CSV 文件前几行,csv_with_names 或 csv_with_names_and_types 时失效 |
|
path_partition_keys |
指定文件路径中携带的分区列名,例如/path/to/city=beijing/date="2023-07-09", 则填写 path_partition_keys="city,date",将会自动从路径中读取相应列名和列值进行导入 | |
resource |
指定 Resource 名,HDFS TVF 可以利用已有的 HFDS Resource 来直接访问 HDFS。创建 HDFS Resource 的方法可以参照 CREATE-RESOURCE | 仅支持 2.1.4 及以上版本 |
enable_mapping_varbinary |
dev 版本仅作为兼容参数接收,值会被忽略,外部二进制固定映射到 VARBINARY。4.1.5 中该 TVF 选项仍可配置,默认 false。 |
4.0.3 起支持 |
enable_mapping_timestamp_tz |
自 4.1.5 版本起仅作为兼容参数接收,值会被忽略。Parquet 的 isAdjustedToUTC=true Timestamp 和 ORC 的 TIMESTAMP_INSTANT 固定映射为 TIMESTAMPTZ,设为 false 也不能恢复 DATETIME。dev 版本的二进制映射同样固定启用;4.1.5 的 enable_mapping_varbinary 仍可单独配置,默认 false。 |
在 4.0.3 之后开始支持 |
hive.parquet.time-zone |
可选字符串,默认空;自 4.1.5 起支持。指定 Parquet INT96 写入端时区,支持 IANA 时区或 -12:00 至 +14:00 偏移,不支持 CST / PRC 等短别名;详见 Parquet。 | 4.1.5 起 |
权限控制
| 权限(Privilege) | 对象(Object) | 说明(Notes) |
|---|---|---|
| USAGE_PRIV | Resource | 使用 resource 参数时,需要对指定 Resource 拥有 USAGE 权限。 |
示例
-
读取并访问 HDFS 存储上的 CSV 格式文件
select * from hdfs( "uri" = "hdfs://127.0.0.1:8424/user/doris/csv_format_test/student.csv", "fs.defaultFS" = "hdfs://127.0.0.1:8424", "hadoop.username" = "doris", "format" = "csv");+------+---------+------+ | c1 | c2 | c3 | +------+---------+------+ | 1 | alice | 18 | | 2 | bob | 20 | | 3 | jack | 24 | | 4 | jackson | 19 | | 5 | liming | 18 | +------+---------+------+ -
读取并访问 HA 模式的 HDFS 存储上的 CSV 格式文件
select * from hdfs( "uri" = "hdfs://my_hdfs/user/doris/csv_format_test/student.csv", "fs.defaultFS" = "hdfs://my_hdfs", "hadoop.username" = "doris", "format" = "csv", "dfs.nameservices" = "my_hdfs", "dfs.ha.namenodes.my_hdfs" = "nn1,nn2", "dfs.namenode.rpc-address.my_hdfs.nn1" = "nanmenode01:8020", "dfs.namenode.rpc-address.my_hdfs.nn2" = "nanmenode02:8020", "dfs.client.failover.proxy.provider.my_hdfs" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");+------+---------+------+ | c1 | c2 | c3 | +------+---------+------+ | 1 | alice | 18 | | 2 | bob | 20 | | 3 | jack | 24 | | 4 | jackson | 19 | | 5 | liming | 18 | +------+---------+------+ -
可以配合
desc function使用。desc function hdfs( "uri" = "hdfs://127.0.0.1:8424/user/doris/csv_format_test/student_with_names.csv", "fs.defaultFS" = "hdfs://127.0.0.1:8424", "hadoop.username" = "doris", "format" = "csv_with_names");
本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。
