为什么在数据发生变化时，良好的校准还不够

“80%”意味着什么

校准描述的是，模型为其预测给出的置信度与观测到的命中频率有多吻合。Guo 及其同事用一个简单的例子加以说明：在 100 个置信度均为 80% 的预测中，如果校准完美，预期应有 80 个正确。[1] 这个例子用于说明概念，并非测量结果。在预测数量有限的情况下，校准本来就只能近似测量。[1]

校准并不等同于准确率。Guo 及其同事在图像数据集 CIFAR-100 上比较了一个较早的小型网络和一个现代的、深得多的网络。较早的网络出错更频繁，但其平均置信度与其准确率相当吻合。现代网络预测正确的次数更多，但平均而言，其置信度远高于其准确率所能支撑的水平。[1]

这两个量描述的都是一组预测。它们并不能说明哪一个具体预测会出错。对单个案例而言，80% 这一数值并不是保证；只有在大量可比案例上才能对它进行检验。

事后校准改变了什么

温度缩放在训练之后调整概率。它唯一的参数是在单独的验证数据上确定的。[1] 在此过程中，预测类别保持不变，因此同一批样本上的准确率不会改变。[1] 在 Guo 及其同事（2017）的实验中，在所研究的由图像或文本数据集与模型构成的组合里，该方法几乎在所有组合上都降低了测得的校准误差。例外是一个此前就已校准良好的文本数据集。[1]

在这些实验中，作者们明确假定，训练数据、验证数据和测试数据来自同一分布。[1] 因此，他们的结果表明的是该方法在条件保持不变时的效果。

当数据发生变化时

例如，新图像可能比此前的测试图像更模糊。这时，在原始环境中得到的良好校准值并不能回答：在变化后的条件下，这些概率有多可靠。

Ovadia 及其同事在 2019 年研究了多种方法在这类数据偏移下的表现。针对图像数据集 CIFAR-10 和 ImageNet，他们人为地改动了测试图像，使用模糊等 16 种干扰，每种各分五个强度。[2] 随着变化加剧，准确率和校准质量都有所下降。[2]

温度缩放在变化较弱时达到了较低的校准误差，相比未校准的模型有明显帮助。但在变化较强时，其校准误差大幅上升。因此，在原始分布的数据上进行事后校准，并不能保证在数据偏移下仍然保持校准。[2] 其他方法，尤其是由多个独立训练的模型组成的集成，在变化较强时表现更好，但质量同样有所下降。[2]

这些结果适用于所研究的模型、数据集和人为生成的变化。它们并不能为另一个模型或其实际部署提供一个固定的错误率。

由此引出哪些问题

本文根据这些发现提出三个检验问题。它们属于编辑层面的解读，并非这些研究的结果：

• 这些概率是用哪些数据进行事后校准的？
• 此后，是否在既未用于训练、也未用于事后校准的数据上检验了准确率和校准？
• 此外，还研究了输入数据中哪些与计划用途相关的变化？

数据偏移并不必然使模型无法使用。但在沿用此前关于其概率可靠性的结论之前，可能需要进行额外的检验。

说明：本文对两项已发表的研究进行解读。本文未自行开展模型测量。