Почему хорошей калибровки недостаточно, когда данные меняются

Что означают «80 процентов»

Калибровка описывает, насколько уверенность, которую модель указывает для своих предсказаний, соответствует наблюдаемой частоте верных предсказаний. Guo и коллеги поясняют это на простом примере: из 100 предсказаний, каждое из которых сделано с уверенностью 80 процентов, при идеальной калибровке ожидается 80 верных.[1] Этот пример иллюстрирует понятие; он не является результатом измерений. При конечном числе предсказаний калибровку в любом случае можно измерить лишь приближённо.[1]

Калибровка — это не то же самое, что доля верных предсказаний. Guo и коллеги сравнили на наборе изображений CIFAR-100 старую небольшую сеть с современной, гораздо более глубокой. Старая сеть ошибалась чаще, но её средняя уверенность хорошо соответствовала её доле верных предсказаний. Современная сеть давала верные ответы чаще, однако в среднем была значительно увереннее, чем оправдывала её доля верных предсказаний.[1]

Обе величины описывают группы предсказаний. Они не показывают, какое именно предсказание окажется ошибочным. Указание 80 процентов не является гарантией для отдельного случая; проверить его можно только на множестве сопоставимых случаев.

Что меняет рекалибровка

Температурное масштабирование корректирует вероятности после обучения. Его единственный параметр определяется на отдельных валидационных данных.[1] Предсказанный класс при этом остаётся прежним, поэтому доля верных предсказаний на тех же примерах не меняется.[1] В экспериментах Guo и коллег (2017) этот метод уменьшил измеренную ошибку калибровки почти во всех исследованных сочетаниях модели и набора изображений или текстов. Исключением стал текстовый набор данных, который уже до этого был хорошо откалиброван.[1]

При этом авторы прямо исходили из того, что обучающие, валидационные и тестовые данные взяты из одного и того же распределения.[1] Таким образом, их результаты показывают, на что способен этот метод в неизменных условиях.

Когда данные меняются

Новые изображения могут, например, оказаться более размытыми, чем прежние тестовые. Тогда благоприятное значение калибровки, полученное в исходной среде, не отвечает на вопрос, насколько надёжны вероятности в изменившихся условиях.

В 2019 году Ovadia и коллеги исследовали несколько методов при таких сдвигах данных. Для наборов изображений CIFAR-10 и ImageNet они искусственно изменяли тестовые изображения, применяя 16 видов искажений, таких как размытие, каждый в пяти степенях силы.[2] По мере усиления изменений доля верных предсказаний и качество калибровки снижались.[2]

Температурное масштабирование при слабых изменениях достигало низких ошибок калибровки и давало заметное преимущество по сравнению с некалиброванной моделью. Однако при более сильных изменениях его ошибка калибровки резко возрастала. Таким образом, рекалибровка на данных исходного распределения не гарантировала калибровку при сдвиге данных.[2] Другие методы, прежде всего ансамбли из нескольких независимо обученных моделей, показывали при более сильных изменениях лучшие результаты, но также теряли в качестве.[2]

Эти результаты относятся к исследованным моделям, наборам данных и искусственно созданным изменениям. Они не дают фиксированного уровня ошибок для другой модели или её применения.

Какие вопросы из этого следуют

Из этих результатов данный материал выводит три контрольных вопроса. Они представляют собой редакционную оценку, а не результат исследований:

• На каких данных были рекалиброваны вероятности?
• Были ли после этого доля верных предсказаний и калибровка проверены на данных, которые не использовались ни для обучения, ни для рекалибровки?
• Какие изменения входных данных, значимые для планируемого применения, были исследованы дополнительно?

Сдвиг данных не обязательно делает модель непригодной. Однако он может потребовать дополнительных проверок, прежде чем прежние утверждения о надёжности её вероятностей будут перенесены на новые условия.

Примечание: этот материал разбирает два опубликованных исследования и помещает их в контекст. Собственных измерений моделей не проводилось.