Dlaczego dobra kalibracja nie wystarcza, gdy dane się zmieniają

Co oznacza „80 procent”

Kalibracja opisuje, na ile pewność, którą model podaje dla swoich przewidywań, odpowiada zaobserwowanej częstości trafień. Guo i współpracownicy objaśniają to na prostym przykładzie: spośród 100 przewidywań, każdego z pewnością 80 procent, przy idealnej kalibracji oczekuje się 80 poprawnych.[1] Przykład ten ilustruje pojęcie; nie jest wynikiem pomiaru. Przy skończonej liczbie przewidywań kalibrację można zresztą zmierzyć tylko w przybliżeniu.[1]

Kalibracja to nie to samo co odsetek trafień. Guo i współpracownicy porównali na zbiorze obrazów CIFAR-100 starszą, małą sieć z nowoczesną, znacznie głębszą siecią. Starsza myliła się częściej, ale jej średnia pewność dobrze odpowiadała jej odsetkowi trafień. Nowoczesna sieć trafiała częściej, jednak średnio była znacznie bardziej pewna, niż uzasadniał to jej odsetek trafień.[1]

Obie wielkości opisują grupy przewidywań. Nie pokazują, które pojedyncze przewidywanie okaże się błędne. Wartość 80 procent nie jest gwarancją dla pojedynczego przypadku; można ją sprawdzić tylko na wielu porównywalnych przypadkach.

Co zmienia rekalibracja

Skalowanie temperaturowe dopasowuje prawdopodobieństwa po treningu. Jego jedyny parametr wyznacza się na osobnych danych walidacyjnych.[1] Przewidywana klasa pozostaje przy tym taka sama, dlatego odsetek trafień na tych samych przykładach się nie zmienia.[1] W eksperymentach Guo i współpracowników (2017) metoda ta zmniejszyła zmierzony błąd kalibracji niemal we wszystkich badanych połączeniach zbioru obrazów lub tekstów z modelem. Wyjątkiem był zbiór tekstów, który już wcześniej był dobrze skalibrowany.[1]

Autorzy wyraźnie zakładali przy tym, że dane treningowe, walidacyjne i testowe pochodzą z tego samego rozkładu.[1] Ich wyniki pokazują więc, co metoda daje w niezmiennych warunkach.

Gdy dane się zmieniają

Nowe obrazy mogą być na przykład bardziej rozmyte niż dotychczasowe obrazy testowe. Korzystna wartość kalibracji uzyskana w pierwotnym środowisku nie odpowiada wtedy na pytanie, jak wiarygodne są prawdopodobieństwa w zmienionych warunkach.

Ovadia i współpracownicy zbadali w 2019 roku kilka metod w warunkach takich przesunięć danych. W przypadku zbiorów obrazów CIFAR-10 i ImageNet sztucznie zmieniali obrazy testowe, stosując 16 rodzajów zakłóceń, takich jak rozmycie, każdy w pięciu stopniach nasilenia.[2] Wraz z narastaniem zmian malały odsetek trafień i jakość kalibracji.[2]

Skalowanie temperaturowe osiągało przy słabych zmianach niskie błędy kalibracji i wyraźnie pomagało w porównaniu z modelem nieskalibrowanym. Przy silniejszych zmianach jego błąd kalibracji jednak gwałtownie rósł. Rekalibracja na danych z pierwotnego rozkładu nie gwarantowała więc kalibracji w warunkach przesunięcia danych.[2] Inne metody, przede wszystkim zespoły kilku niezależnie trenowanych modeli, wypadały lepiej przy silniejszych zmianach, ale również traciły na jakości.[2]

Wyniki te dotyczą zbadanych modeli, zbiorów danych i sztucznie wytworzonych zmian. Nie dają stałego poziomu błędu dla innego modelu ani dla jego zastosowania.

Jakie pytania z tego wynikają

Z tych ustaleń niniejszy wpis wyprowadza trzy pytania kontrolne. Są one redakcyjnym omówieniem, a nie wynikiem badań:

• Na jakich danych przeprowadzono rekalibrację prawdopodobieństw?
• Czy odsetek trafień i kalibrację sprawdzono następnie na danych, które nie służyły ani do treningu, ani do rekalibracji?
• Jakie zmiany danych wejściowych istotne dla planowanego zastosowania zbadano dodatkowo?

Przesunięcie danych nie musi czynić modelu bezużytecznym. Może jednak wymagać dodatkowych sprawdzeń, zanim dotychczasowe stwierdzenia o wiarygodności jego prawdopodobieństw zostaną przeniesione na nowe warunki.

Uwaga: niniejszy wpis omawia dwa opublikowane badania. Nie przeprowadzono własnych pomiarów modeli.