Чому доброго калібрування недостатньо, коли дані змінюються

Що означають «80 відсотків»

Калібрування описує, наскільки впевненість, яку модель вказує для своїх передбачень, відповідає спостережуваній частоті правильних передбачень. Guo та колеги пояснюють це на простому прикладі: зі 100 передбачень, кожне з упевненістю 80 відсотків, за ідеального калібрування очікують 80 правильних.[1] Приклад ілюструє поняття; це не результат вимірювання. За скінченної кількості передбачень калібрування й так можна виміряти лише наближено.[1]

Калібрування — це не те саме, що частка правильних передбачень. На наборі даних зображень CIFAR-100 Guo та колеги порівняли старішу невелику мережу із сучасною, значно глибшою мережею. Старіша помилялася частіше, але її середня впевненість добре відповідала її частці правильних передбачень. Сучасна мережа давала правильні передбачення частіше, проте в середньому була значно впевненішою, ніж виправдовувала її частка правильних передбачень.[1]

Обидві величини описують групи передбачень. Вони не показують, яке окреме передбачення виявиться хибним. Значення 80 відсотків не є гарантією для окремого випадку; перевірити його можна лише на багатьох порівнянних випадках.

Що змінює рекалібрування

Температурне масштабування коригує ймовірності після навчання. Його єдиний параметр визначають на окремих валідаційних даних.[1] Передбачений клас при цьому не змінюється, тому частка правильних передбачень на тих самих прикладах залишається незмінною.[1] В експериментах Guo та колег (2017) цей метод зменшив виміряну похибку калібрування майже в усіх досліджених комбінаціях набору даних зображень або текстів і моделі. Винятком став один текстовий набір даних, який і до того був добре відкалібрований.[1]

Водночас автори прямо виходили з того, що навчальні, валідаційні й тестові дані походять з одного й того самого розподілу.[1] Отже, їхні результати показують, на що метод здатний за незмінних умов.

Коли дані змінюються

Нові зображення можуть бути, наприклад, розмитішими за попередні тестові зображення. Тоді сприятливий показник калібрування з початкового середовища не дає відповіді на питання, наскільки надійні ймовірності за змінених умов.

Ovadia та колеги у 2019 році дослідили кілька методів за таких зсувів даних. Для наборів даних зображень CIFAR-10 та ImageNet вони штучно змінювали тестові зображення, застосувавши 16 видів спотворень, як-от розмиття, кожен у п’яти ступенях інтенсивності.[2] Зі зростанням змін знижувалися частка правильних передбачень і якість калібрування.[2]

За слабких змін температурне масштабування досягало низьких похибок калібрування й помітно допомагало порівняно з некаліброваною моделлю. Однак за сильніших змін його похибка калібрування сильно зростала. Отже, рекалібрування на даних початкового розподілу не гарантувало калібрування за зсуву даних.[2] Інші методи, насамперед ансамблі з кількох незалежно навчених моделей, за сильніших змін показували кращі результати, але теж втрачали якість.[2]

Ці результати стосуються досліджених моделей, наборів даних і штучно створених змін. Вони не дають фіксованої частки помилок для іншої моделі чи її застосування.

Які питання з цього випливають

З цих результатів цей допис виводить три контрольні запитання. Вони є редакційним тлумаченням, а не результатом досліджень:

• На яких даних рекалібрували ймовірності?
• Чи перевіряли після цього частку правильних передбачень і калібрування на даних, які не використовувалися ні для навчання, ні для рекалібрування?
• Які зміни вхідних даних, важливі для запланованого застосування, досліджували додатково?

Зсув даних не обов’язково робить модель непридатною. Але він може вимагати додаткових перевірок, перш ніж попередні твердження про надійність її ймовірностей можна буде перенести на нові умови.

Примітка: цей допис розглядає в контексті два опубліковані дослідження. Власних вимірювань моделей не проводилося.