Pourquoi une bonne calibration ne suffit pas lorsque les données changent

Ce que signifient « 80 % »

La calibration décrit dans quelle mesure la confiance qu’un modèle indique pour ses prédictions correspond à la fréquence de réussite observée. Guo et ses collègues l’expliquent par un exemple simple : sur 100 prédictions ayant chacune une confiance de 80 %, on en attend 80 correctes si la calibration est parfaite.[1] Cet exemple illustre la notion ; il ne s’agit pas d’un résultat de mesure. Avec un nombre fini de prédictions, la calibration ne peut de toute façon être mesurée que de manière approximative.[1]

La calibration n’est pas la même chose que le taux de réussite. Sur le jeu de données d’images CIFAR-100, Guo et ses collègues ont comparé un réseau plus ancien et de petite taille à un réseau moderne, beaucoup plus profond. Le plus ancien se trompait plus souvent, mais sa confiance moyenne correspondait bien à son taux de réussite. Le réseau moderne voyait juste plus souvent, mais il était en moyenne nettement plus confiant que ne le justifiait son taux de réussite.[1]

Ces deux grandeurs décrivent des groupes de prédictions. Elles n’indiquent pas quelle prédiction individuelle sera fausse. Une valeur de 80 % n’est pas une garantie pour le cas individuel ; elle ne peut être vérifiée que sur de nombreux cas comparables.

Ce que change la recalibration

La mise à l’échelle par la température ajuste les probabilités après l’entraînement. Son unique paramètre est déterminé sur des données de validation distinctes.[1] La classe prédite reste la même, si bien que le taux de réussite ne change pas sur les mêmes exemples.[1] Dans les expériences de Guo et de ses collègues (2017), la méthode a réduit l’erreur de calibration mesurée pour presque toutes les combinaisons étudiées d’un jeu de données d’images ou de textes et d’un modèle. L’exception était un jeu de données textuelles déjà bien calibré auparavant.[1]

Les auteurs partaient expressément du principe que les données d’entraînement, de validation et de test provenaient de la même distribution.[1] Leurs résultats montrent donc ce que la méthode permet d’obtenir dans des conditions constantes.

Quand les données changent

De nouvelles images peuvent par exemple être plus floues que les images de test utilisées jusque-là. Une valeur de calibration favorable obtenue dans l’environnement d’origine ne dit alors pas quelle est la fiabilité des probabilités dans les conditions modifiées.

En 2019, Ovadia et ses collègues ont étudié plusieurs méthodes face à de tels décalages de données. Pour les jeux de données d’images CIFAR-10 et ImageNet, ils ont modifié artificiellement les images de test, avec 16 types de perturbations, comme le flou, appliqués chacun à cinq intensités.[2] À mesure que la modification s’accentuait, le taux de réussite et la qualité de la calibration diminuaient.[2]

La mise à l’échelle par la température a atteint de faibles erreurs de calibration en cas de modifications légères et a apporté une nette amélioration par rapport au modèle non calibré. En cas de modifications plus fortes, son erreur de calibration a toutefois fortement augmenté. Une recalibration sur des données de la distribution d’origine ne garantissait donc pas la calibration en cas de décalage des données.[2] D’autres méthodes, en particulier les ensembles de plusieurs modèles entraînés indépendamment, ont obtenu de meilleurs résultats en cas de modifications plus fortes, mais ont elles aussi perdu en qualité.[2]

Les résultats valent pour les modèles, les jeux de données et les modifications artificielles étudiés. Ils ne fournissent pas de taux d’erreur fixe pour un autre modèle ou pour son utilisation.

Les questions qui en découlent

À partir de ces constats, cet article dégage trois questions de vérification. Elles relèvent d’une mise en perspective éditoriale et ne sont pas un résultat des études :

• Avec quelles données les probabilités ont-elles été recalibrées ?
• Le taux de réussite et la calibration ont-ils ensuite été vérifiés sur des données qui n’ont servi ni à l’entraînement ni à la recalibration ?
• Quelles modifications des données d’entrée, pertinentes pour l’utilisation prévue, ont été étudiées en plus ?

Un décalage des données ne rend pas nécessairement un modèle inutilisable. Il peut toutefois exiger des vérifications supplémentaires avant que des affirmations antérieures sur la fiabilité de ses probabilités soient transposées.

Remarque : cet article met en perspective deux études publiées. Aucune mesure propre sur des modèles n’a été réalisée.