データが変わるとき、良いキャリブレーションだけでは足りない理由

「80パーセント」が意味すること

キャリブレーションとは、モデルが予測に付ける確信度と、実際に観測される正解の頻度がどれだけ一致しているかを表すものです。Guoらはこれを簡単な例で説明しています。確信度がそれぞれ80パーセントの予測が100件あるとき、キャリブレーションが完全であれば、そのうち80件が正解になると期待されます。[1] この例は概念を説明するためのもので、測定結果ではありません。そもそも予測の数が有限である以上、キャリブレーションは近似的にしか測定できません。[1]

キャリブレーションは正解率と同じではありません。Guoらは画像データセットCIFAR-100で、古くて小さなネットワークと、ずっと深い現代的なネットワークを比較しました。古いネットワークは誤りが多かったものの、平均的な確信度は正解率とよく一致していました。現代的なネットワークはより多く正解しましたが、平均的な確信度は正解率に見合う水準を大きく上回っていました。[1]

どちらの指標も、予測の集まりについて述べるものです。どの個別の予測が誤りになるかを示すものではありません。「80パーセント」という値は、一件ごとの保証ではなく、多くの似たケースを通してしか検証できません。

再キャリブレーションで変わること

温度スケーリング（temperature scaling）は、学習後に確率を調整する手法です。唯一のパラメータは、別に用意した検証データで決められます。[1] 予測されるクラスは変わらないため、同じ例に対する正解率も変わりません。[1] Guoらの2017年の実験では、調べられた画像またはテキストのデータセットとモデルの組み合わせのほぼすべてで、この手法によって測定上のキャリブレーション誤差が小さくなりました。例外は、もともと十分にキャリブレーションされていた一つのテキストデータセットでした。[1]

その際、著者らは、学習・検証・テストのデータが同じ分布から得られることを明確に前提としていました。[1] つまり、彼らの結果は、条件が変わらない場合にこの手法が何を達成できるかを示しています。

データが変わるとき

たとえば、新しい画像がこれまでのテスト画像よりぼやけていることがあります。その場合、元の環境で得られた良好なキャリブレーションの値は、変化した条件のもとで確率がどれだけ信頼できるかという問いには答えてくれません。

Ovadiaらは2019年、このようなデータの変化のもとで複数の手法を調べました。画像データセットCIFAR-10とImageNetについては、ぼかしなど16種類の歪みを、それぞれ5段階の強さでテスト画像に人工的に加えました。[2] 変化が強くなるにつれて、正解率もキャリブレーションの質も低下しました。[2]

温度スケーリングは、変化が弱いときにはキャリブレーション誤差が小さく、キャリブレーションしていないモデルと比べて明らかに効果がありました。しかし変化が強くなると、その誤差は大きく増えました。元の分布のデータで再キャリブレーションしても、データが変化したときのキャリブレーションは保証されなかったのです。[2] ほかの手法、特に独立に学習した複数のモデルを組み合わせるアンサンブルは、強い変化のもとでより良い結果を示しましたが、やはり質は低下しました。[2]

これらの結果は、調べられたモデル、データセット、人工的に加えられた変化についてのものです。別のモデルやその利用場面に当てはまる、決まった誤り率を示すものではありません。

そこから生まれる問い

これらの結果から、本稿では三つの確認事項を導きます。これは編集上の整理であり、研究の結果ではありません。

• 確率の再キャリブレーションには、どのデータが使われましたか。
• その後、学習にも再キャリブレーションにも使われていないデータで、正解率とキャリブレーションは確認されましたか。
• 想定している利用場面に関係する入力データの変化は、別途調べられましたか。

データが変化したからといって、モデルが必ず使えなくなるわけではありません。ただし、確率の信頼性に関するこれまでの評価をそのまま当てはめる前に、追加の確認が必要になることがあります。

注：本稿は、公表された二つの研究を整理したものです。独自のモデル測定は行っていません。