Warum gute Kalibrierung bei veränderten Daten nicht genügt

Was „80 Prozent“ bedeuten

Kalibrierung beschreibt, wie gut die Sicherheit, die ein Modell für seine Vorhersagen angibt, zur beobachteten Trefferhäufigkeit passt. Guo und Kollegen erklären das mit einem einfachen Beispiel: Von 100 Vorhersagen mit jeweils 80 Prozent Sicherheit erwartet man bei perfekter Kalibrierung 80 richtige.[1] Das Beispiel veranschaulicht den Begriff; es ist kein Messergebnis. Bei einer endlichen Zahl von Vorhersagen lässt sich Kalibrierung ohnehin nur näherungsweise messen.[1]

Kalibrierung ist nicht dasselbe wie Trefferquote. Guo und Kollegen verglichen auf dem Bilddatensatz CIFAR-100 ein älteres, kleines Netz mit einem modernen, viel tieferen Netz. Das ältere lag häufiger falsch, seine durchschnittliche Sicherheit entsprach aber gut seiner Trefferquote. Das moderne Netz traf öfter, war im Durchschnitt jedoch erheblich sicherer, als seine Trefferquote rechtfertigte.[1]

Beide Größen beschreiben Gruppen von Vorhersagen. Sie zeigen nicht, welche einzelne Vorhersage falsch sein wird. Eine Angabe von 80 Prozent ist für den einzelnen Fall keine Garantie; überprüfen lässt sie sich nur an vielen vergleichbaren Fällen.

Was Nachkalibrierung verändert

Die Temperaturskalierung passt die Wahrscheinlichkeiten nach dem Training an. Ihr einziger Parameter wird auf separaten Validierungsdaten bestimmt.[1] Die vorhergesagte Klasse bleibt dabei gleich, deshalb ändert sich die Trefferquote auf denselben Beispielen nicht.[1] In den Experimenten von Guo und Kollegen (2017) verringerte das Verfahren den gemessenen Kalibrierungsfehler bei fast allen untersuchten Kombinationen aus Bild- oder Textdatensatz und Modell. Die Ausnahme war ein Textdatensatz, der schon vorher gut kalibriert war.[1]

Dabei gingen die Autoren ausdrücklich davon aus, dass Trainings-, Validierungs- und Testdaten aus derselben Verteilung stammen.[1] Ihre Ergebnisse zeigen also, was das Verfahren unter gleichbleibenden Bedingungen leistet.

Wenn sich die Daten verändern

Neue Bilder können zum Beispiel unschärfer sein als die bisherigen Testbilder. Ein günstiger Kalibrierungswert aus der ursprünglichen Umgebung beantwortet dann nicht, wie verlässlich die Wahrscheinlichkeiten unter den veränderten Bedingungen sind.

Ovadia und Kollegen untersuchten 2019 mehrere Verfahren unter solchen Datenverschiebungen. Für die Bilddatensätze CIFAR-10 und ImageNet veränderten sie die Testbilder künstlich, mit 16 Arten von Störungen wie Unschärfe in jeweils fünf Stärken.[2] Mit zunehmender Veränderung sanken Trefferquote und Kalibrierungsqualität.[2]

Die Temperaturskalierung erreichte bei schwachen Veränderungen niedrige Kalibrierungsfehler und half deutlich gegenüber dem unkalibrierten Modell. Bei stärkeren Veränderungen stieg ihr Kalibrierungsfehler jedoch stark an. Eine Nachkalibrierung auf Daten der ursprünglichen Verteilung garantierte also keine Kalibrierung unter Datenverschiebung.[2] Andere Verfahren, vor allem Ensembles aus mehreren unabhängig trainierten Modellen, schnitten bei stärkeren Veränderungen besser ab, verloren aber ebenfalls an Qualität.[2]

Die Ergebnisse gelten für die untersuchten Modelle, Datensätze und künstlich erzeugten Veränderungen. Sie liefern keine feste Fehlerquote für ein anderes Modell oder dessen Einsatz.

Welche Fragen daraus folgen

Aus diesen Befunden leitet dieser Beitrag drei Prüffragen ab. Sie sind eine redaktionelle Einordnung, kein Ergebnis der Studien:

• Mit welchen Daten wurden die Wahrscheinlichkeiten nachkalibriert?
• Wurden Trefferquote und Kalibrierung danach auf Daten geprüft, die weder zum Training noch zur Nachkalibrierung dienten?
• Welche für den geplanten Einsatz relevanten Veränderungen der Eingabedaten wurden zusätzlich untersucht?

Eine Datenverschiebung macht ein Modell nicht zwangsläufig unbrauchbar. Sie kann aber zusätzliche Prüfungen erfordern, bevor bisherige Aussagen über die Verlässlichkeit seiner Wahrscheinlichkeiten übertragen werden.

Hinweis: Dieser Beitrag ordnet zwei veröffentlichte Studien ein. Eigene Modellmessungen wurden nicht durchgeführt.