데이터가 달라지면 좋은 보정만으로는 왜 충분하지 않은가

‘80퍼센트’가 의미하는 것

보정은 모델이 자신의 예측에 대해 제시하는 신뢰도가 관측된 적중 빈도와 얼마나 잘 맞는지를 나타냅니다. Guo와 동료들은 이를 간단한 예로 설명합니다. 각각 80퍼센트의 신뢰도를 가진 예측 100건이 있다면, 완벽하게 보정된 경우 그중 80건이 맞을 것으로 기대합니다.[1] 이 예는 개념을 보여 주는 것이며 측정 결과가 아닙니다. 어차피 예측의 수가 유한하면 보정은 근사적으로만 측정할 수 있습니다.[1]

보정은 적중률과 같지 않습니다. Guo와 동료들은 이미지 데이터셋 CIFAR-100에서 더 오래된 소형 신경망과 훨씬 더 깊은 현대적 신경망을 비교했습니다. 더 오래된 신경망은 틀리는 경우가 더 많았지만, 평균 신뢰도는 적중률과 잘 일치했습니다. 현대적 신경망은 더 자주 맞혔지만, 평균적으로 적중률이 뒷받침하는 수준보다 상당히 높은 신뢰도를 보였습니다.[1]

두 지표 모두 예측의 집단을 설명합니다. 어떤 개별 예측이 틀릴지는 보여 주지 않습니다. 80퍼센트라는 수치는 개별 사례에 대한 보장이 아니며, 비교 가능한 많은 사례를 통해서만 검증할 수 있습니다.

사후 보정이 바꾸는 것

온도 스케일링은 학습 후에 확률을 조정합니다. 유일한 매개변수는 별도의 검증 데이터에서 결정합니다.[1] 이때 예측 클래스는 그대로이므로 같은 예제에서의 적중률은 달라지지 않습니다.[1] Guo와 동료들의 실험(2017)에서 이 기법은 조사한 이미지 또는 텍스트 데이터셋과 모델의 조합 거의 전부에서 측정된 보정 오차를 줄였습니다. 예외는 이미 이전부터 보정이 잘되어 있던 텍스트 데이터셋 하나였습니다.[1]

이때 저자들은 학습, 검증, 테스트 데이터가 같은 분포에서 나온다고 명시적으로 가정했습니다.[1] 따라서 이들의 결과는 이 기법이 변하지 않는 조건에서 어떤 성능을 내는지를 보여 줍니다.

데이터가 달라질 때

예를 들어 새 이미지는 기존 테스트 이미지보다 더 흐릿할 수 있습니다. 이 경우 원래 환경에서 얻은 양호한 보정 수치만으로는 달라진 조건에서 확률이 얼마나 믿을 만한지 답할 수 없습니다.

Ovadia와 동료들은 2019년에 이러한 데이터 시프트 상황에서 여러 기법을 조사했습니다. 이미지 데이터셋 CIFAR-10과 ImageNet에 대해 이들은 흐림과 같은 16가지 교란을 각각 다섯 단계의 강도로 적용해 테스트 이미지를 인위적으로 변형했습니다.[2] 변화가 커질수록 적중률과 보정 품질은 낮아졌습니다.[2]

온도 스케일링은 변화가 약할 때 낮은 보정 오차를 달성했고, 보정하지 않은 모델에 비해 뚜렷한 도움이 되었습니다. 그러나 변화가 강해지면 보정 오차가 크게 증가했습니다. 즉, 원래 분포의 데이터로 수행한 사후 보정이 데이터 시프트 상황에서의 보정을 보장하지는 않았습니다.[2] 다른 기법들, 특히 독립적으로 학습한 여러 모델로 구성된 앙상블은 변화가 강할 때 더 나은 결과를 보였지만, 역시 품질이 떨어졌습니다.[2]

이 결과는 조사 대상이 된 모델, 데이터셋, 인위적으로 만든 변화에 대해 유효합니다. 다른 모델이나 그 모델의 활용에 적용할 수 있는 고정된 오류율을 제공하지는 않습니다.

여기서 도출되는 질문

이 글은 이러한 결과로부터 세 가지 점검 질문을 도출합니다. 이 질문들은 편집상의 해석이며 연구 결과가 아닙니다:

• 확률을 어떤 데이터로 사후 보정했습니까?
• 이후 학습에도 사후 보정에도 사용되지 않은 데이터에서 적중률과 보정을 검증했습니까?
• 계획된 활용과 관련된 입력 데이터의 변화 가운데 어떤 것을 추가로 조사했습니까?

데이터 시프트가 모델을 반드시 쓸모없게 만드는 것은 아닙니다. 다만 모델 확률의 신뢰성에 관한 기존 진술을 옮겨 적용하기 전에 추가 검증이 필요할 수 있습니다.

참고: 이 글은 공개된 연구 두 편을 해설한 것입니다. 자체적인 모델 측정은 수행하지 않았습니다.