Por qué una buena calibración no basta cuando cambian los datos

Qué significa «80 por ciento»

La calibración describe en qué medida la confianza que un modelo indica para sus predicciones se ajusta a la frecuencia de aciertos observada. Guo y sus colegas lo explican con un ejemplo sencillo: de 100 predicciones, cada una con un 80 por ciento de confianza, con una calibración perfecta se esperan 80 correctas.[1] El ejemplo ilustra el concepto; no es un resultado de medición. Con un número finito de predicciones, la calibración solo puede medirse, de todos modos, de forma aproximada.[1]

La calibración no es lo mismo que la tasa de aciertos. En el conjunto de datos de imágenes CIFAR-100, Guo y sus colegas compararon una red pequeña más antigua con una red moderna y mucho más profunda. La más antigua se equivocaba con más frecuencia, pero su confianza media se correspondía bien con su tasa de aciertos. La red moderna acertaba más a menudo, pero en promedio mostraba una confianza considerablemente mayor de la que justificaba su tasa de aciertos.[1]

Ambas magnitudes describen grupos de predicciones. No muestran qué predicción concreta será errónea. Un valor de 80 por ciento no es una garantía para el caso individual; solo puede comprobarse en muchos casos comparables.

Qué cambia la recalibración

El escalado de temperatura ajusta las probabilidades después del entrenamiento. Su único parámetro se determina con datos de validación separados.[1] La clase predicha no cambia, por lo que la tasa de aciertos en los mismos ejemplos no varía.[1] En los experimentos de Guo y sus colegas (2017), en casi todas las combinaciones examinadas de conjunto de datos de imágenes o de texto y modelo, el método redujo el error de calibración medido. La excepción fue un conjunto de datos de texto que ya estaba bien calibrado de antemano.[1]

En estos experimentos, los autores partieron expresamente de la base de que los datos de entrenamiento, de validación y de prueba proceden de la misma distribución.[1] Por tanto, sus resultados muestran lo que el método logra en condiciones invariables.

Cuando los datos cambian

Las imágenes nuevas pueden ser, por ejemplo, más borrosas que las imágenes de prueba anteriores. En ese caso, un valor de calibración favorable obtenido en el entorno original no responde a la pregunta de cuán fiables son las probabilidades en las condiciones modificadas.

En 2019, Ovadia y sus colegas estudiaron varios métodos bajo este tipo de desplazamientos de datos. Para los conjuntos de datos de imágenes CIFAR-10 e ImageNet, modificaron artificialmente las imágenes de prueba con 16 tipos de perturbaciones, como el desenfoque, en cinco intensidades cada una.[2] A medida que aumentaba la modificación, disminuían la tasa de aciertos y la calidad de la calibración.[2]

Con modificaciones leves, el escalado de temperatura alcanzó errores de calibración bajos y supuso una clara mejora frente al modelo sin calibrar. Sin embargo, con modificaciones más intensas, su error de calibración aumentó fuertemente. Por tanto, una recalibración con datos de la distribución original no garantizaba la calibración bajo un desplazamiento de datos.[2] Otros métodos, sobre todo los ensembles de varios modelos entrenados de forma independiente, obtuvieron mejores resultados con modificaciones más intensas, pero también perdieron calidad.[2]

Los resultados son válidos para los modelos, los conjuntos de datos y las modificaciones generadas artificialmente que se estudiaron. No proporcionan una tasa de error fija para otro modelo ni para el uso de este.

Qué preguntas se derivan de ello

A partir de estos hallazgos, este artículo deriva tres preguntas de comprobación. Son una valoración editorial, no un resultado de los estudios:

• ¿Con qué datos se recalibraron las probabilidades?
• ¿Se comprobaron después la tasa de aciertos y la calibración con datos que no se hubieran utilizado ni para el entrenamiento ni para la recalibración?
• ¿Qué cambios relevantes para el uso previsto se examinaron además en los datos de entrada?

Un desplazamiento de datos no inutiliza necesariamente un modelo. Sin embargo, puede requerir comprobaciones adicionales antes de trasladar las afirmaciones previas sobre la fiabilidad de sus probabilidades.

Nota: Este artículo sitúa en contexto dos estudios publicados. No se realizaron mediciones propias con modelos.