potsdam_vitae_rvsa_kvidff权重推理时的精度差异

[youngbaldy]

您好，我在使用RVSA仓库中所给出的potsdam_vitae_rvsa_kvidff.pth权重进行推理时，结果有所出入，config文件除data_root以外未作修改。我的结果如下：

RVSA仓库中的log日志结果为 "aAcc": 0.9115, "mIoU": 0.8307, "mAcc": 0.9005, "mFscore": 0.9061, "mPrecision": 0.9124, "mRecall": 0.9005；两者所有指标差0.3%左右，我不太确定这是否可以认为两个结果是对齐的。
我的测试集是使用mmseg官方脚本对‘2_Ortho_RGB.zip'’和‘5_Labels_all.zip'’进行划分，最后得到2016张512x512的测试集。虽然我猜测与测试集划分相关，但使用rsp_r50权重进行推理时，精度是能基本对齐的。ViTAE-Transformer/RSP#15
我确实不太理解造成这种状况的原因，期待您的回复。

[DotWang]

@youngbaldy 可能是因为kvdiff的代码在上传权重后改过一点，但是这个时间有点久了，我忘了细节了，建议用非kvdiff的权重，或者用现在的代码重新训一下kvdiff的

[youngbaldy]

感谢您的回复，我使用potsdam非kvdiff权重推理2016张512x512的测试集，得到的结果为"aAcc": 0.9109, "mIoU": 0.8296, "mAcc": 0.8999, "mFscore": 0.9055, "mPrecision": 0.9117, "mRecall": 0.8999,
RVSA仓库中的log日志结果为 "aAcc": 0.9122, "mIoU": 0.8313, "mAcc": 0.9007, "mFscore": 0.9064, "mPrecision": 0.9128, "mRecall": 0.9007,
两者精度相差0.1%左右，大概可以看作是对齐？因为我不太确定，非常麻烦您，期待您的回复。

[DotWang]

@youngbaldy 差不多吧，我觉得这还有可能和数据集有关系，我们用的是之前自己做项目时手动裁的数据集，不是用mmseg裁剪的，不同人的数据集裁剪方式和参数，诸如步长之类的可能也不一样，导致了结果有差异，另外，我觉得其实统一在大图上进行滑窗预测是最公平的，按照我们自己的探索，大图滑窗预测的精度也要比一个一个预测小图再评测的高，不过目前大部分人都是裁剪后的小图上测，所以我们这次也还是在小图上测的

[youngbaldy]

ook 非常感谢您的回复！