大网数据广告活动
数据库部署与 SQL 参考

数据正确性问题

· 52CE 我爱测

表格中的“表出现重复 key 数据”均指在 merge-on-write Unique 表中出现重复 key 数据。merge-on-write Unique 表上的重复 key 问题都可以通过触发 full compaction来进行修复,其他类型的正确性问题可能需要根据情况来确定修复方案,如有需要,请联系社区支持。

数据正确性问题

本文档主要用于记录 Doris 使用过程中关于数据正确性的常见问题。会不定期更新。

表格中的“表出现重复 key 数据”均指在 merge-on-write Unique 表中出现重复 key 数据。merge-on-write Unique 表上的重复 key 问题都可以通过触发 full compaction来进行修复,其他类型的正确性问题可能需要根据情况来确定修复方案,如有需要,请联系社区支持。

问题现象 发生条件 影响版本 Fix 版本 影响范围 Fix PR
merge-on-write Unique 表上部分列更新导入将之前已经被删除的数据补齐上来 部分列更新时指定了__DORIS_DELETE_SIGN__列,且存量历史数据中有被__DORIS_DELETE_SIGN__列标记删除的数据 <2.1.8, <3.0.4 >=2.1.8, >=3.0.4 存算一体,存算分离,部分列更新 #46194
表出现重复 key 数据 存算分离模式下在 merge-on-write Unique 表上有并发导入 <3.0.4 >=3.0.4 存算分离 #46039
表出现重复 key 数据 存算分离模式下在 merge-on-write Unique 表上同时存在导入与导入之间的并发以及导入和 compaction 之间的并发 <3.0.4 >=3.0.4 存算分离 #44975
系统生成的自增列的值出现 0/出现重复值 BE 和 FE 之间存在网络异常 <2.1.8, <3.0.3 >=2.1.8, >=3.0.3 存算一体,存算分离,自增列 #43774
使用 Stream Load 向 merge-on-write Unique 导入数据时,对于满足delete参数所指定的删除条件的数据,导入后没有被删除掉 使用 Stream Load 导入数据时,设置了merge_type: MERGE, partial_columns: true和delete参数 <2.0.15, <2.17, <3.0.3 >=2.0.15, >=2.17, >=3.0.3 存算一体,存算分离,部分列更新 #40730
使用部分列更新导入后,部分自增列数据被非预期更新为新的系统生成的值 表中存在在 Value 列上的自增列,且部分列更新导入没有指定这个自增列上的值 <2.1.6, <3.0.2 >=2.1.6, >=3.0.2 存算一体,存算分离,自增列 #39996
表出现重复 key 数据 用户使用ALTER TABLE tbl ENABLE FEATURE "SEQUENCE_LOAD" WITH ...语句给一个不支持 sequence 列的 merge-on-write Unique 表添加了 sequence 列功能并且之后有新的导入 <2.0.15, <2.1.6, <3.0.2 >=2.0.15, >=2.1.6, >=3.0.2 存算一体,存算分离 #39958
表出现重复 key 数据 存算分离模式下在 merge-on-write Unique 表上存在导入与导入之间的并发或导入和 compaction 之间的并发 <3.0.1 >=3.0.1 存算分离 #39018
使用部分列更新导入后,merge-on-write Unique 表中部分数据错乱 merge-on-write Unique 表上有并发的部分列更新导入,并且导入过程中有 BE 重启 <2.0.15, <2.1.6, <3.0.2 >=2.0.15, >=2.1.6, >=3.0.2 存算一体,存算分离,部分列更新 #38331
表出现重复 key 数据 存算分离模式下在 merge-on-write Unique 表上存在导入和 compaction 之间的并发 <3.0.2 >=3.0.2 存算分离 #37670, #41309, #39791
表出现重复 key 数据 merge-on-write Unique 表上有 sequence 列,表上存在单次数据量很大的导入,且触发了 segment compaction <2.0.15, <2.1.6, <3.0.2 >=2.0.15, >=2.1.6, >=3.0.2 存算一体,存算分离 #38369
表出现重复 key 数据 存算一体模式下 merge-on-write Unique 表上有失败的 full clone <2.0.13, <2.1.5, <3.0.0 >=2.0.13, >=2.1.5, >=3.0.0 存算一体 #37001
表出现重复 key 数据 存算分离模式下在 merge-on-write Unique 表上有 Stream Load 的导入且导入内部存在失败重试过程 <3.0.0 >=3.0.0 存算分离 #36670
merge-on-write Unique 表上多副本数据不一致 merge-on-write Unique 表上有过指定了__DORIS_DELETE_SIGN__列的部分列更新导入,且在导入的时候不同副本上 Base Compaction 进度不一致 <2.0.15, <2.1.5, <3.0.0 >=2.0.15, >=2.1.5, >=3.0.0 存算一体,存算分离,部分列更新 #36210
表出现重复 key 数据 merge-on-write Unique 表上有并发的部分列更新导入,并且导入过程中有 BE 重启 <2.0.11, <2.1.4, <3.0.0 >=2.0.11, >=2.1.4, >=3.0.0 存算一体,存算分离,部分列更新 #35739

本文来自 Apache Doris 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。

资料来源与适用范围

资料来源
Apache Doris 文档贡献者
适用范围
master 文档快照(2026-11-16)
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
Apache 2.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。