زیرەکیی دەستکرد و سیستەمە دیجیتاڵییەکان
بۆچی کالیبرەکردنی باش کاتێک داتا گۆڕاوە بەس نییە
مۆدێلێکی پۆلێنکردن دەتوانێت لەسەر کۆمەڵە داتایەکی تاقیکردنەوە ئەگەرییەتی گونجاو بدات. ئەگەر داتای تێخراو بگۆڕێت، هەمان ئەگەرییەتەکان دەکرێت بە شێوەیەکی بەرچاو خراپتر لەگەڵ ڕێژەی پێکانی ڕاستەقینەدا بگونجێن. بۆیە ئەوەی یەکلاکەرەوەیە ئەوەیە کە کالیبرەکردنەکە لە ژێر چ مەرجێکدا پشکنراوە.
«80 لەسەدا» واتای چییە
کالیبرەکردن باس لەوە دەکات کە ئەو دڵنیاییەی مۆدێلێک بۆ پێشبینییەکانی دیاری دەکات تا چەند لەگەڵ ڕێژەی پێکانی چاودێریکراودا دەگونجێت. گوۆ و هاوکارانی ئەمە بە نموونەیەکی سادە ڕوون دەکەنەوە: لە 100 پێشبینی کە هەریەکەیان 80 لەسەدا دڵنیایی هەیە، لە کالیبرەکردنی تەواودا چاوەڕێ دەکرێت 80 دانەیان ڕاست بن.[1] ئەم نموونەیە چەمکەکە ڕوون دەکاتەوە؛ ئەنجامی پێوانەکردن نییە. لە ژمارەیەکی سنووردار لە پێشبینیدا، کالیبرەکردن لە هەموو حاڵەتێکدا تەنها بە نزیکەیی دەپێورێت.[1]
کالیبرەکردن هەمان شت نییە لەگەڵ ڕێژەی پێکان. گوۆ و هاوکارانی لەسەر کۆمەڵە داتای وێنەیی CIFAR-100 تۆڕێکی کۆنتر و بچووکیان لەگەڵ تۆڕێکی مۆدێرن و زۆر قووڵتردا بەراورد کرد. تۆڕە کۆنترەکە زیاتر هەڵەی دەکرد، بەڵام تێکڕای دڵنیاییەکەی بە باشی لەگەڵ ڕێژەی پێکانەکەیدا دەگونجا. تۆڕە مۆدێرنەکە زیاتر دەیپێکا، بەڵام بە تێکڕا بە شێوەیەکی بەرچاو زیاتر دڵنیا بوو لەوەی ڕێژەی پێکانەکەی ڕەوای دەکرد.[1]
هەردوو چەندێتییەکە گرووپی پێشبینییەکان وەسف دەکەن. نیشانی نادەن کام پێشبینیی تاک هەڵە دەبێت. دیاریکردنی 80 لەسەدا بۆ حاڵەتێکی تاک گەرەنتی نییە؛ تەنها لەسەر ژمارەیەکی زۆر حاڵەتی هاوشێوە دەتوانرێت بپشکنرێت.
کالیبرەکردنەوە چی دەگۆڕێت
پێوەرکردنی پلەی گەرما (Temperature Scaling) ئەگەرییەتەکان دوای ڕاهێنان ڕێک دەخات. تاکە پارامێتەرەکەی لەسەر داتای پشتڕاستکردنەوەی جیاکراوە دیاری دەکرێت.[1] پۆلی پێشبینیکراو لەم کاتەدا وەک خۆی دەمێنێتەوە، بۆیە ڕێژەی پێکان لەسەر هەمان نموونەکان ناگۆڕێت.[1] لە ئەزموونەکانی گوۆ و هاوکارانیدا (2017) ئەم شێوازە هەڵەی کالیبرەکردنی پێوراوی لە نزیکەی هەموو ئەو تێکەڵانەدا کەم کردەوە کە لە کۆمەڵە داتای وێنە یان دەق و مۆدێل پێکهاتبوون و توێژینەوەیان لەسەر کرابوو. ئاوارتەکە کۆمەڵە داتایەکی دەقی بوو کە پێشتر باش کالیبرە کرابوو.[1]
لەم کارەدا نووسەران بە ڕاشکاوی وایان دانابوو کە داتای ڕاهێنان، پشتڕاستکردنەوە و تاقیکردنەوە لە هەمان دابەشبوونەوە دێن.[1] کەواتە ئەنجامەکانیان نیشان دەدەن کە ئەم شێوازە لە ژێر مەرجی نەگۆڕدا چی دەکات.
کاتێک داتا دەگۆڕێت
بۆ نموونە، وێنە نوێیەکان دەکرێت لێڵتر بن لە وێنەکانی تاقیکردنەوەی پێشوو. لەو کاتەدا نمرەیەکی باشی کالیبرەکردن لە ژینگەی سەرەتایی وەڵامی ئەوە ناداتەوە کە ئەگەرییەتەکان لە ژێر مەرجە گۆڕاوەکاندا تا چەند جێی متمانەن.
ئۆڤادیا و هاوکارانی لە ساڵی 2019دا چەند شێوازێکیان لە ژێر ئەم جۆرە لادانانەی داتادا تاقی کردەوە. بۆ کۆمەڵە داتای وێنەیی CIFAR-10 و ImageNet وێنەکانی تاقیکردنەوەیان بە دەستکرد گۆڕی، بە 16 جۆر تێکچوون وەک لێڵی، هەریەکەیان لە پێنج پلەی توندیدا.[2] لەگەڵ زیادبوونی گۆڕانکاریدا ڕێژەی پێکان و کوالیتیی کالیبرەکردن دابەزین.[2]
پێوەرکردنی پلەی گەرما لە گۆڕانکارییە لاوازەکاندا گەیشتە هەڵەی کالیبرەکردنی نزم و بە بەراورد لەگەڵ مۆدێلی کالیبرەنەکراودا بە شێوەیەکی بەرچاو یارمەتیدەر بوو. بەڵام لە گۆڕانکارییە بەهێزترەکاندا هەڵەی کالیبرەکردنەکەی زۆر بەرز بووەوە. کەواتە کالیبرەکردنەوە لەسەر داتای دابەشبوونی سەرەتایی، کالیبرەکردنی لە ژێر لادانی داتادا گەرەنتی نەکرد.[2] شێوازەکانی تر، بە تایبەتی کۆمەڵە مۆدێل (ensembles) کە لە چەند مۆدێلێکی بە سەربەخۆیی ڕاهێنراو پێکهاتوون، لە گۆڕانکارییە بەهێزترەکاندا باشتر بوون، بەڵام ئەوانیش کوالیتییان دابەزی.[2]
ئەنجامەکان بۆ ئەو مۆدێل، کۆمەڵە داتا و گۆڕانکارییە دەستکردانە ڕاستن کە توێژینەوەیان لەسەر کراوە. ڕێژەیەکی جێگیری هەڵە بۆ مۆدێلێکی تر یان بەکارهێنانی ئەو مۆدێلە نادەن بە دەستەوە.
چ پرسیارگەلێک لێیەوە سەرهەڵدەدەن
لەم دۆزینەوانەوە ئەم بابەتە سێ پرسیاری پشکنین دەردەهێنێت. ئەمانە هەڵسەنگاندنێکی سەرنووسەرانەن، نەک ئەنجامی توێژینەوەکان:
- ئەگەرییەتەکان بە چ داتایەک کالیبرە کراونەتەوە؟
- ئایا دواتر ڕێژەی پێکان و کالیبرەکردن لەسەر داتایەک پشکنران کە نە بۆ ڕاهێنان و نە بۆ کالیبرەکردنەوە بەکار هاتبوو؟
- جگە لەوە، کام گۆڕانکارییەکانی داتای تێخراو کە بۆ بەکارهێنانی پلاندانراو گرنگن توێژینەوەیان لەسەر کراوە؟
لادانی داتا مۆدێلێک بە ناچاری بێسوود ناکات. بەڵام دەکرێت پێویستی بە پشکنینی زیادە هەبێت پێش ئەوەی وتەکانی پێشوو دەربارەی جێی متمانەبوونی ئەگەرییەتەکانی بگوازرێنەوە.
تێبینی: ئەم بابەتە دوو توێژینەوەی بڵاوکراوە لە چوارچێوەی خۆیاندا ڕوون دەکاتەوە. نووسەر خۆی هیچ پێوانەکردنێکی لەسەر مۆدێل ئەنجام نەداوە.
سەرچاوەکان
[1] Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger: On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning (ICML 2017), PMLR 70, 2017. بەشەکانی 1، 2، 4 و 5، خشتەی 1.
کردنەوەی سەرچاوەی ڕەسەن [1][2] Yaniv Ovadia, Emily Fertig, Jie Ren, Zachary Nado, D. Sculley, Sebastian Nowozin, Joshua V. Dillon, Balaji Lakshminarayanan, Jasper Snoek: Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. Advances in Neural Information Processing Systems 32 (NeurIPS 2019). بەشەکانی 1، 4.2 و 5.
کردنەوەی سەرچاوەی ڕەسەن [2]