Veriler değiştiğinde iyi kalibrasyon neden yetmez

“Yüzde 80” ne anlama gelir

Kalibrasyon, bir modelin tahminleri için belirttiği güven düzeyinin gözlenen isabet sıklığıyla ne kadar iyi örtüştüğünü tanımlar. Guo ve meslektaşları bunu basit bir örnekle açıklar: Her biri yüzde 80 güven düzeyine sahip 100 tahminden, kusursuz kalibrasyonda 80’inin doğru olması beklenir.[1] Bu örnek kavramı somutlaştırır; bir ölçüm sonucu değildir. Sonlu sayıda tahminde kalibrasyon zaten ancak yaklaşık olarak ölçülebilir.[1]

Kalibrasyon, isabet oranıyla aynı şey değildir. Guo ve meslektaşları, CIFAR-100 görüntü veri kümesinde daha eski ve küçük bir ağı modern ve çok daha derin bir ağla karşılaştırdı. Eski ağ daha sık yanılıyordu, ancak ortalama güven düzeyi isabet oranıyla iyi örtüşüyordu. Modern ağ daha sık isabet ediyordu, fakat ortalama güven düzeyi, isabet oranının haklı çıkaracağından önemli ölçüde yüksekti.[1]

Her iki büyüklük de tahmin gruplarını betimler. Hangi tek tek tahminin yanlış olacağını göstermez. Yüzde 80’lik bir değer, tek bir vaka için garanti değildir; ancak çok sayıda karşılaştırılabilir vaka üzerinde sınanabilir.

Sonradan kalibrasyon neyi değiştirir

Sıcaklık ölçekleme, olasılıkları eğitimden sonra ayarlar. Tek parametresi ayrı doğrulama verileri üzerinde belirlenir.[1] Bu sırada tahmin edilen sınıf aynı kalır, bu nedenle aynı örneklerdeki isabet oranı değişmez.[1] Guo ve meslektaşlarının deneylerinde (2017) yöntem, incelenen görüntü veya metin veri kümesi ile model kombinasyonlarının neredeyse tümünde ölçülen kalibrasyon hatasını azalttı. İstisna, yöntem uygulanmadan önce de iyi kalibre durumda olan bir metin veri kümesiydi.[1]

Yazarlar bu sırada eğitim, doğrulama ve test verilerinin aynı dağılımdan geldiğini açıkça varsaydı.[1] Dolayısıyla sonuçları, yöntemin değişmeyen koşullarda neler başardığını gösterir.

Veriler değiştiğinde

Örneğin yeni görüntüler, önceki test görüntülerinden daha bulanık olabilir. Bu durumda özgün ortamdan elde edilen olumlu bir kalibrasyon değeri, olasılıkların değişen koşullarda ne kadar güvenilir olduğu sorusunu yanıtlamaz.

Ovadia ve meslektaşları 2019’da birkaç yöntemi bu tür veri kaymaları altında inceledi. CIFAR-10 ve ImageNet görüntü veri kümeleri için test görüntülerini, bulanıklık gibi 16 bozulma türüyle ve her biri beş şiddet düzeyinde yapay olarak değiştirdiler.[2] Değişim arttıkça isabet oranı ve kalibrasyon kalitesi düştü.[2]

Sıcaklık ölçekleme, zayıf değişimlerde düşük kalibrasyon hatalarına ulaştı ve kalibre edilmemiş modele kıyasla belirgin bir yarar sağladı. Ancak daha güçlü değişimlerde kalibrasyon hatası keskin biçimde arttı. Dolayısıyla özgün dağılımın verileri üzerinde yapılan sonradan kalibrasyon, veri kayması altında kalibrasyonu garanti etmedi.[2] Başka yöntemler, özellikle bağımsız olarak eğitilmiş birden fazla modelden oluşan topluluklar (ensemble), daha güçlü değişimlerde daha iyi sonuç verdi, ancak onlar da kalite kaybetti.[2]

Bu sonuçlar, incelenen modeller, veri kümeleri ve yapay olarak oluşturulan değişimler için geçerlidir. Başka bir model veya onun kullanımı için sabit bir hata oranı sunmaz.

Buradan hangi sorular çıkıyor

Bu yazı, bu bulgulardan üç denetim sorusu türetiyor. Bunlar editoryal bir değerlendirmedir, çalışmaların bir sonucu değildir:

• Olasılıklar hangi verilerle sonradan kalibre edildi?
• İsabet oranı ve kalibrasyon bundan sonra, ne eğitimde ne de sonradan kalibrasyonda kullanılan veriler üzerinde sınandı mı?
• Planlanan kullanım için önemli olan hangi girdi verisi değişimleri ayrıca incelendi?

Veri kayması bir modeli zorunlu olarak kullanılamaz hale getirmez. Ancak olasılıklarının güvenilirliğine ilişkin önceki ifadeler aktarılmadan önce ek denetimler gerektirebilir.

Not: Bu yazı, yayımlanmış iki çalışmayı değerlendirmektedir. Bu kapsamda kendi model ölçümü yapılmamıştır.