Perché una buona calibrazione non basta quando i dati cambiano

Che cosa significa «80 per cento»

La calibrazione descrive quanto la confidenza che un modello indica per le sue previsioni corrisponda alla frequenza osservata di previsioni corrette. Guo e colleghi lo spiegano con un semplice esempio: su 100 previsioni, ciascuna con una confidenza dell’80 per cento, con una calibrazione perfetta ci si attende che 80 siano corrette.[1] L’esempio illustra il concetto; non è un risultato di misura. Con un numero finito di previsioni, del resto, la calibrazione si può misurare solo in modo approssimativo.[1]

La calibrazione non è la stessa cosa dell’accuratezza. Sul dataset di immagini CIFAR-100, Guo e colleghi hanno confrontato una rete più vecchia, di piccole dimensioni, con una rete moderna molto più profonda. La rete più vecchia sbagliava più spesso, ma la sua confidenza media corrispondeva bene alla sua accuratezza. La rete moderna forniva più spesso previsioni corrette, ma in media mostrava una confidenza molto più alta di quanto la sua accuratezza giustificasse.[1]

Entrambe le grandezze descrivono gruppi di previsioni. Non mostrano quale singola previsione risulterà errata. Un valore dell’80 per cento non è una garanzia per il singolo caso; lo si può verificare solo su molti casi confrontabili.

Che cosa cambia la ricalibrazione

La scalatura della temperatura adatta le probabilità dopo l’addestramento. Il suo unico parametro viene determinato su dati di validazione separati.[1] La classe prevista resta invariata, perciò l’accuratezza sugli stessi esempi non cambia.[1] Negli esperimenti di Guo e colleghi (2017), il metodo ha ridotto l’errore di calibrazione misurato in quasi tutte le combinazioni esaminate di dataset di immagini o di testo e modello. L’eccezione è stata un dataset di testo che era già ben calibrato in precedenza.[1]

Gli autori partivano esplicitamente dal presupposto che i dati di addestramento, validazione e test provenissero dalla stessa distribuzione.[1] I loro risultati mostrano quindi che cosa ottiene il metodo in condizioni invariate.

Quando i dati cambiano

Le nuove immagini possono, per esempio, essere più sfocate delle immagini di test usate finora. Un valore di calibrazione favorevole ottenuto nell’ambiente originario non dice allora quanto siano affidabili le probabilità nelle condizioni mutate.

Nel 2019 Ovadia e colleghi hanno esaminato diversi metodi in presenza di simili spostamenti dei dati. Per i dataset di immagini CIFAR-10 e ImageNet hanno modificato artificialmente le immagini di test, con 16 tipi di disturbo come la sfocatura, ciascuno in cinque intensità.[2] Con l’aumentare della modifica, l’accuratezza e la qualità della calibrazione sono diminuite.[2]

Con modifiche deboli, la scalatura della temperatura ha raggiunto errori di calibrazione bassi e ha portato un netto vantaggio rispetto al modello non calibrato. Con modifiche più forti, però, il suo errore di calibrazione è aumentato fortemente. Una ricalibrazione su dati della distribuzione originaria non garantiva quindi la calibrazione in presenza di uno spostamento dei dati.[2] Altri metodi, soprattutto gli ensemble di più modelli addestrati in modo indipendente, hanno ottenuto risultati migliori con modifiche più forti, ma hanno anch’essi perso qualità.[2]

I risultati valgono per i modelli, i dataset e le modifiche artificiali esaminati. Non forniscono un tasso di errore fisso per un altro modello o per il suo impiego.

Quali domande ne derivano

Da questi risultati il presente contributo ricava tre domande di verifica. Sono un inquadramento redazionale, non un risultato degli studi:

• Con quali dati sono state ricalibrate le probabilità?
• L’accuratezza e la calibrazione sono state poi verificate su dati non utilizzati né per l’addestramento né per la ricalibrazione?
• Quali cambiamenti rilevanti per l’impiego previsto sono stati esaminati in aggiunta nei dati di input?

Uno spostamento dei dati non rende necessariamente inutilizzabile un modello. Può però richiedere verifiche aggiuntive prima di trasferire le affermazioni fatte finora sull’affidabilità delle sue probabilità.

Nota: questo contributo inquadra due studi pubblicati. Non sono state effettuate misurazioni proprie su modelli.