لماذا لا تكفي المعايرة الجيدة عندما تتغيّر البيانات

ماذا تعني «80 في المئة»

تصف المعايرة مدى توافق درجة الثقة التي يعلنها النموذج لتنبؤاته مع التكرار المرصود للتنبؤات الصحيحة. ويوضّح Guo وآخرون ذلك بمثال بسيط: من بين 100 تنبؤ بدرجة ثقة 80 في المئة لكلٍّ منها، يُتوقَّع عند المعايرة المثالية أن يكون 80 تنبؤًا صحيحًا.[1] يوضّح هذا المثال المفهوم، وليس نتيجة قياس. ومع عدد محدود من التنبؤات، لا يمكن على أي حال قياس المعايرة إلا على وجه التقريب.[1]

ليست المعايرة هي نفسها نسبة التنبؤات الصحيحة. فقد قارن Guo وآخرون على مجموعة بيانات الصور CIFAR-100 بين شبكة أقدم صغيرة وشبكة حديثة أعمق بكثير. كانت الشبكة الأقدم تخطئ أكثر، لكن متوسط ثقتها كان يوافق نسبة تنبؤاتها الصحيحة جيدًا. أما الشبكة الحديثة فكانت تصيب أكثر، لكنها كانت في المتوسط واثقة بدرجة تتجاوز كثيرًا ما تبرّره نسبة تنبؤاتها الصحيحة.[1]

يصف كلا المقدارين مجموعات من التنبؤات، ولا يبيّنان أي تنبؤ بعينه سيكون خاطئًا. فقيمة 80 في المئة ليست ضمانًا للحالة الفردية، ولا يمكن التحقق منها إلا على حالات كثيرة قابلة للمقارنة.

ما الذي تغيّره المعايرة اللاحقة

يعدّل تدريج الحرارة (temperature scaling) الاحتمالات بعد التدريب. ويُحدَّد معامله الوحيد على بيانات تحقق منفصلة.[1] وتبقى الفئة المتنبَّأ بها كما هي، ولذلك لا تتغيّر نسبة التنبؤات الصحيحة على الأمثلة نفسها.[1] وفي تجارب Guo وآخرين (2017)، خفّضت هذه الطريقة خطأ المعايرة المقيس في جميع التوليفات المدروسة تقريبًا من مجموعات بيانات الصور أو النصوص والنماذج. وكان الاستثناء مجموعة بيانات نصية كانت معايرتها جيدة من قبل.[1]

وقد افترض المؤلفون صراحةً أن بيانات التدريب والتحقق والاختبار مستمدة من التوزيع نفسه.[1] فنتائجهم إذن تُظهر ما تحققه الطريقة في ظل ظروف ثابتة.

عندما تتغيّر البيانات

قد تكون الصور الجديدة مثلًا أكثر ضبابية من صور الاختبار السابقة. وعندئذ لا تجيب قيمة معايرة مواتية من البيئة الأصلية عن مدى موثوقية الاحتمالات في ظل الظروف المتغيّرة.

في عام 2019 درس Ovadia وآخرون عدة طرق في ظل مثل هذه الانزياحات في البيانات. فبالنسبة إلى مجموعتي بيانات الصور CIFAR-10 وImageNet، عدّلوا صور الاختبار اصطناعيًا باستخدام 16 نوعًا من التشويشات، مثل الضبابية، بخمس شدّات لكل منها.[2] ومع ازدياد التغيّر انخفضت نسبة التنبؤات الصحيحة وجودة المعايرة.[2]

حقق تدريج الحرارة أخطاء معايرة منخفضة عند التغيّرات الضعيفة، وأفاد بوضوح مقارنة بالنموذج غير المعايَر. لكن خطأ المعايرة الخاص به ارتفع ارتفاعًا حادًا عند التغيّرات الأقوى. فالمعايرة اللاحقة على بيانات من التوزيع الأصلي لم تضمن إذن المعايرة في ظل انزياح البيانات.[2] أما الطرق الأخرى، ولا سيما المجمَّعات (ensembles) المؤلفة من عدة نماذج مدرَّبة باستقلال، فكان أداؤها أفضل عند التغيّرات الأقوى، لكنها فقدت هي أيضًا من جودتها.[2]

تسري هذه النتائج على النماذج ومجموعات البيانات والتغيّرات المولَّدة اصطناعيًا التي جرت دراستها. وهي لا تقدّم معدل خطأ ثابتًا لنموذج آخر أو لاستخدامه.

ما الأسئلة التي تترتب على ذلك

يستخلص هذا المقال من هذه النتائج ثلاثة أسئلة للفحص. وهي قراءة تحريرية، وليست نتيجة للدراسات:

• ما البيانات التي استُخدمت في المعايرة اللاحقة للاحتمالات؟
• هل فُحصت بعد ذلك نسبة التنبؤات الصحيحة والمعايرة على بيانات لم تُستخدم لا في التدريب ولا في المعايرة اللاحقة؟
• ما التغيّرات في بيانات الإدخال ذات الصلة بالاستخدام المزمع التي دُرست إضافةً إلى ذلك؟

لا يجعل انزياح البيانات النموذج غير صالح للاستخدام بالضرورة. لكنه قد يتطلب فحوصًا إضافية قبل نقل ما سبق تقريره عن موثوقية احتمالاته.

ملاحظة: يقدّم هذا المقال قراءة تحليلية لدراستين منشورتين. ولم تُجرَ لهذا المقال قياسات خاصة به على النماذج.