Por que uma boa calibração não basta quando os dados mudam

O que significa “80%”

A calibração descreve o quanto a confiança que um modelo atribui às suas previsões corresponde à frequência de acertos observada. Guo e colegas explicam isso com um exemplo simples: entre 100 previsões, cada uma com 80% de confiança, espera-se, com calibração perfeita, que 80 estejam corretas.[1] O exemplo ilustra o conceito; não é um resultado de medição. Com um número finito de previsões, aliás, a calibração só pode ser medida de forma aproximada.[1]

Calibração não é o mesmo que taxa de acerto. No conjunto de imagens CIFAR-100, Guo e colegas compararam uma rede mais antiga e pequena com uma rede moderna e bem mais profunda. A mais antiga errava com mais frequência, mas sua confiança média correspondia bem à sua taxa de acerto. A rede moderna acertava mais, porém sua confiança média era bem maior do que a taxa de acerto justificava.[1]

As duas medidas descrevem grupos de previsões. Elas não mostram qual previsão individual estará errada. Uma indicação de 80% não é uma garantia para um caso isolado; ela só pode ser verificada em muitos casos comparáveis.

O que a recalibração muda

O escalonamento por temperatura (temperature scaling) ajusta as probabilidades depois do treinamento. Seu único parâmetro é determinado em dados de validação separados.[1] A classe prevista não muda; por isso, a taxa de acerto nos mesmos exemplos permanece igual.[1] Nos experimentos de Guo e colegas (2017), o método reduziu o erro de calibração medido em quase todas as combinações investigadas de conjunto de dados de imagem ou de texto e modelo. A exceção foi um conjunto de textos que já estava bem calibrado antes.[1]

Os autores partiram explicitamente do pressuposto de que os dados de treinamento, validação e teste vêm da mesma distribuição.[1] Seus resultados mostram, portanto, o que o método alcança em condições inalteradas.

Quando os dados mudam

Novas imagens podem, por exemplo, estar mais desfocadas do que as imagens de teste anteriores. Um bom valor de calibração obtido no ambiente original não responde, então, quão confiáveis são as probabilidades nas novas condições.

Em 2019, Ovadia e colegas investigaram vários métodos sob esse tipo de mudança nos dados. Nos conjuntos de imagens CIFAR-10 e ImageNet, eles alteraram artificialmente as imagens de teste com 16 tipos de distorção, como o desfoque, cada um em cinco intensidades.[2] À medida que as alterações aumentavam, caíam a taxa de acerto e a qualidade da calibração.[2]

Com alterações leves, o escalonamento por temperatura obteve erros de calibração baixos e ajudou claramente em comparação com o modelo não calibrado. Com alterações mais fortes, porém, seu erro de calibração aumentou bastante. Recalibrar com dados da distribuição original não garantiu, portanto, calibração sob mudança nos dados.[2] Outros métodos, sobretudo ensembles de vários modelos treinados de forma independente, se saíram melhor com alterações mais fortes, mas também perderam qualidade.[2]

Os resultados valem para os modelos, os conjuntos de dados e as alterações artificiais investigados. Eles não fornecem uma taxa de erro fixa para outro modelo nem para o uso que se faz dele.

Que perguntas decorrem disso

A partir desses resultados, este texto propõe três perguntas de verificação. Elas são uma interpretação editorial, não um resultado dos estudos:

• Com quais dados as probabilidades foram recalibradas?
• Depois disso, a taxa de acerto e a calibração foram verificadas em dados que não serviram nem para o treinamento nem para a recalibração?
• Quais mudanças nos dados de entrada, relevantes para o uso previsto, foram investigadas adicionalmente?

Uma mudança nos dados não torna um modelo necessariamente inútil. Mas ela pode exigir verificações adicionais antes que afirmações anteriores sobre a confiabilidade de suas probabilidades sejam transferidas para a nova situação.

Observação: este texto analisa dois estudos publicados. Não foram feitas medições próprias com modelos.