چرا کالیبراسیون خوب در صورت تغییر داده‌ها کافی نیست

«۸۰ درصد» چه معنایی دارد

کالیبراسیون توصیف می‌کند که اطمینانی که یک مدل برای پیش‌بینی‌هایش اعلام می‌کند تا چه اندازه با فراوانی مشاهده‌شده پیش‌بینی‌های درست هم‌خوانی دارد. گوئو و همکاران این موضوع را با مثالی ساده توضیح می‌دهند: از ۱۰۰ پیش‌بینی که هر یک با ۸۰ درصد اطمینان همراه است، در صورت کالیبراسیون کامل انتظار می‌رود ۸۰ مورد درست باشد.[1] این مثال مفهوم را روشن می‌کند؛ نتیجه یک اندازه‌گیری نیست. در هر حال، با تعداد محدودی پیش‌بینی، کالیبراسیون را فقط می‌توان به‌صورت تقریبی اندازه گرفت.[1]

کالیبراسیون با نرخ پیش‌بینی درست یکی نیست. گوئو و همکاران روی مجموعه‌داده تصویری CIFAR-100 یک شبکه قدیمی‌تر و کوچک را با یک شبکه مدرن و بسیار عمیق‌تر مقایسه کردند. شبکه قدیمی‌تر بیشتر خطا می‌کرد، اما میانگین اطمینانش به‌خوبی با نرخ پیش‌بینی درستش مطابقت داشت. شبکه مدرن بیشتر درست پیش‌بینی می‌کرد، اما به‌طور میانگین بسیار مطمئن‌تر از حدی بود که نرخ پیش‌بینی درستش توجیه می‌کرد.[1]

هر دو کمیت گروه‌هایی از پیش‌بینی‌ها را توصیف می‌کنند. آن‌ها نشان نمی‌دهند که کدام پیش‌بینی منفرد نادرست خواهد بود. عدد ۸۰ درصد برای یک مورد منفرد تضمین نیست؛ این عدد را فقط می‌توان روی موارد مشابه بسیار بررسی کرد.

کالیبراسیون پس از آموزش چه چیزی را تغییر می‌دهد

مقیاس‌بندی دمایی احتمال‌ها را پس از آموزش تنظیم می‌کند. تنها پارامتر آن روی داده‌های اعتبارسنجی جداگانه تعیین می‌شود.[1] کلاس پیش‌بینی‌شده در این فرایند تغییر نمی‌کند، از این رو نرخ پیش‌بینی درست روی همان نمونه‌ها تغییری نمی‌یابد.[1] در آزمایش‌های گوئو و همکاران (۲۰۱۷)، این روش خطای کالیبراسیون اندازه‌گیری‌شده را تقریباً در همه ترکیب‌های بررسی‌شده از مجموعه‌داده تصویری یا متنی و مدل کاهش داد. استثنا یک مجموعه‌داده متنی بود که از پیش به‌خوبی کالیبره بود.[1]

در این کار، نویسندگان صراحتاً فرض کردند که داده‌های آموزش، اعتبارسنجی و آزمون از یک توزیع واحد می‌آیند.[1] بنابراین نتایج آن‌ها نشان می‌دهد که این روش در شرایط ثابت چه کارایی‌ای دارد.

وقتی داده‌ها تغییر می‌کنند

تصاویر جدید ممکن است برای نمونه تارتر از تصاویر آزمون پیشین باشند. در این صورت، یک مقدار مطلوب کالیبراسیون از محیط اصلی به این پرسش پاسخ نمی‌دهد که احتمال‌ها در شرایط تغییریافته تا چه اندازه قابل اتکا هستند.

اوادیا و همکاران در سال ۲۰۱۹ چند روش را در چنین جابه‌جایی‌های داده‌ای بررسی کردند. آن‌ها برای مجموعه‌داده‌های تصویری CIFAR-10 و ImageNet تصاویر آزمون را به‌طور مصنوعی تغییر دادند، با ۱۶ نوع اختلال مانند تاری، هر کدام در پنج شدت.[2] با افزایش تغییر، نرخ پیش‌بینی درست و کیفیت کالیبراسیون کاهش یافت.[2]

مقیاس‌بندی دمایی در تغییرهای ضعیف به خطاهای کالیبراسیون پایینی رسید و در مقایسه با مدل کالیبره‌نشده کمک چشمگیری کرد. اما در تغییرهای قوی‌تر، خطای کالیبراسیون آن شدیداً افزایش یافت. بنابراین کالیبراسیون پس از آموزش روی داده‌های توزیع اصلی، کالیبراسیون را در شرایط جابه‌جایی داده‌ها تضمین نکرد.[2] روش‌های دیگر، به‌ویژه مدل‌های گروهی (Ensemble) متشکل از چند مدل که مستقل از هم آموزش دیده‌اند، در تغییرهای قوی‌تر عملکرد بهتری داشتند، اما کیفیت آن‌ها نیز کاهش یافت.[2]

این نتایج برای مدل‌ها، مجموعه‌داده‌ها و تغییرهای مصنوعی بررسی‌شده معتبرند. آن‌ها نرخ خطای ثابتی برای مدلی دیگر یا کاربرد آن به دست نمی‌دهند.

چه پرسش‌هایی از این نتایج برمی‌آید

این نوشته از این یافته‌ها سه پرسش بررسی استخراج می‌کند. این پرسش‌ها یک ارزیابی تحریریه‌ای هستند، نه نتیجه مطالعات:

• احتمال‌ها با کدام داده‌ها پس از آموزش کالیبره شدند؟
• آیا نرخ پیش‌بینی درست و کالیبراسیون پس از آن روی داده‌هایی بررسی شدند که نه برای آموزش و نه برای کالیبراسیون پس از آموزش به کار رفته بودند؟
• کدام تغییرهای داده‌های ورودی که برای کاربرد برنامه‌ریزی‌شده اهمیت دارند، افزون بر این بررسی شدند؟

جابه‌جایی داده‌ها لزوماً مدل را بی‌استفاده نمی‌کند. اما ممکن است پیش از تعمیم گفته‌های پیشین درباره قابل اتکا بودن احتمال‌های آن، بررسی‌های بیشتری لازم باشد.

یادآوری: این نوشته دو مطالعه منتشرشده را بررسی و تفسیر می‌کند. نگارنده این نوشته خود هیچ اندازه‌گیری‌ای روی مدل‌ها انجام نداده است.