大网数据广告活动
服务器运维问答

Zstd parquet decompression

· 52CE 我爱测

I have parquet file compressed by zstd. It is possible to decompress it somehow? I tried to use zstd command, but without any luck: [x@xyz tmp]# zstd -d part-00016-303a375a-e443-4f86-a59e-b5d82d15bd26.c000.zstd.parquet -o test.pa…

问题原文

原帖链接 · Jacfal · CC BY-SA 4.0

I have parquet file compressed by zstd. It is possible to decompress it somehow? I tried to use zstd command, but without any luck:

[x@xyz tmp]# zstd -d part-00016-303a375a-e443-4f86-a59e-b5d82d15bd26.c000.zstd.parquet -o test.parquet
zstd: part-00016-303a375a-e443-4f86-a59e-b5d82d15bd26.c000.zstd.parquet: unsupported format

已采纳解答

原帖链接 · Jacfal · CC BY-SA 4.0

It is possible via spark-shell on the machine where zstd parquet reading is supported.

spark.read.option("compression", "zstd").parquet("/tmp/parquet-folder").write.option("compression", "none").mode("overwrite").parquet("/tmp/parquet-folder-no-compression")

摘自公开归档,保留原文语言,版式经整理,外部媒体与邮箱地址已移除。

资料来源与适用范围

资料来源
Server Fault
适用范围
以原帖系统、软件版本与发布日期为准(2020-09-22)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-15
授权说明
CC BY-SA 4.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。