Zîrekiya Çêkirî û Pergalên Dîjîtal

Çima kalîbrasyona baş dema dane diguherin têr nake

Modelek dabeşkirinê dikare li ser komeke daneyên testê îhtîmalên guncan bide. Dema daneyên têketinê diguherin, heman îhtîmal dikarin bi awayekî berbiçav kêmtir li gorî frekansa rastîn a rastderketinê bin. Ji ber vê yekê ya diyarker ew e ku kalîbrasyon di bin kîjan şertan de hatiye kontrolkirin.

“Ji sedî 80” tê çi wateyê

Kalîbrasyon rave dike ka ew piştrastiya ku modelek ji bo pêşbîniyên xwe dide, çiqas baş li gorî frekansa rastderketinê ya hatî dîtin e. Guo û hevkarên wan vê yekê bi mînakeke hêsan rave dikin: Ji 100 pêşbîniyên ku her yek bi piştrastiya ji sedî 80 ye, di kalîbrasyona bêkêmasî de 80 rast têne hêvîkirin.[1] Ev mînak têgehê ronî dike; ew ne encama pîvandinekê ye. Bi hejmareke sînordar a pêşbîniyan, kalîbrasyon jixwe tenê bi texmînî dikare were pîvandin.[1]

Kalîbrasyon ne heman tişt e wek rêjeya rastderketinê. Guo û hevkarên wan li ser koma daneyên wêneyan CIFAR-100 toreke kevntir û biçûk bi toreke nûjen û pir kûrtir re dan ber hev. Ya kevntir pirtir caran şaş derdiket, lê piştrastiya wê ya navînî baş li gorî rêjeya wê ya rastderketinê bû. Tora nûjen pirtir caran rast derdiket, lê bi navînî ji ya ku rêjeya wê ya rastderketinê rewa dikir gelekî piştrasttir bû.[1]

Her du mezinahî komên pêşbîniyan rave dikin. Ew nîşan nadin ka kîjan pêşbîniya yekane dê şaş be. Daxuyaniya ji sedî 80 ji bo rewşa yekane ne garantî ye; ew tenê li ser gelek rewşên ku dikarin bên berawirdkirin dikare were kontrolkirin.

Kalîbrasyona paşê çi diguherîne

Skalakirina germahiyê îhtîmalan piştî perwerdehiyê diguncîne. Tekane parametreya wê li ser daneyên validasyonê yên veqetandî tê destnîşankirin.[1] Çîna pêşbînîkirî di vê pêvajoyê de wek xwe dimîne, ji ber vê yekê rêjeya rastderketinê li ser heman mînakan nayê guhertin.[1] Di ceribandinên Guo û hevkarên wan (2017) de, vê rêbazê xeletiya kalîbrasyonê ya pîvandî hema hema di hemû kombînasyonên lêkolînkirî yên koma daneyên wêne an metnê bi modelê re de kêm kir. Îstîsna komeke daneyên metnê bû ku berê jî baş kalîbrekirî bû.[1]

Di vê yekê de nivîskaran bi eşkereyî ev yek wek pêşmerc danî ku daneyên perwerdehiyê, validasyonê û testê ji heman belavbûnê tên.[1] Ango encamên wan nîşan didin ka ev rêbaz di bin şertên neguherî de çi pêk tîne.

Dema dane diguherin

Wêneyên nû, wek mînak, dikarin ji wêneyên testê yên heta niha kêmtir zelal bin. Wê demê nirxeke kalîbrasyonê ya baş ji hawîrdora destpêkê bersiv nade ka îhtîmal di bin şertên guherî de çiqas pêbawer in.

Ovadia û hevkarên wan di sala 2019an de çend rêbaz di bin guheztinên wiha yên daneyan de lêkolîn kirin. Ji bo komên daneyên wêneyan CIFAR-10 û ImageNet wan wêneyên testê bi awayekî çêkirî guherandin, bi 16 cureyên xerabûnê yên wek nezelaliyê, her yek di pênc astên hêzê de.[2] Bi zêdebûna guherînê re rêjeya rastderketinê û kalîteya kalîbrasyonê daketin.[2]

Skalakirina germahiyê di guherînên qels de gihîşt xeletiyên kalîbrasyonê yên nizm û li gorî modela nekalîbrekirî bi awayekî berbiçav alîkar bû. Lê di guherînên xurttir de xeletiya wê ya kalîbrasyonê gelekî bilind bû. Ango kalîbrasyona paşê li ser daneyên belavbûna destpêkê di bin guheztina daneyan de kalîbrasyonê garantî nekir.[2] Rêbazên din, bi taybetî ensembleyên ji çend modelên ku bi serbixwe hatine perwerdekirin, di guherînên xurttir de encamên baştir bi dest xistin, lê wan jî kalîte winda kir.[2]

Ev encam ji bo model û komên daneyan ên lêkolînkirî û ji bo guherînên bi awayekî çêkirî hatine afirandin derbasdar in. Ew ji bo modeleke din an bikaranîna wê rêjeyeke xeletiyê ya sabît nadin.

Ji vê yekê çi pirs derdikevin

Ev nivîs ji van dîtinan sê pirsên kontrolê derdixe. Ew nirxandineke edîtoriyê ne, ne encama lêkolînan in:

  • Îhtîmal bi kîjan daneyan paşê hatine kalîbrekirin?
  • Gelo piştre rêjeya rastderketinê û kalîbrasyon li ser daneyên ku ne ji bo perwerdehiyê û ne jî ji bo kalîbrasyona paşê hatine bikaranîn hatin kontrolkirin?
  • Kîjan guherînên daneyên têketinê yên ji bo bikaranîna plankirî girîng bi ser de hatin lêkolînkirin?

Guheztina daneyan ne bi neçarî modelekê bêkêr dike. Lê ew dikare kontrolên zêde pêwîst bike, berî ku gotinên heta niha yên li ser pêbaweriya îhtîmalên wê bên veguhestin.

Têbînî: Ev nivîs du lêkolînên weşandî dinirxîne. Ji aliyê vê nivîsê ve tu pîvandinên modelê nehatine kirin.

Çavkanî

[1] Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger: On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning (ICML 2017), PMLR 70, 2017. Beşên 1, 2, 4 û 5, Tablo 1.

Çavkaniya orîjînal veke [1]

[2] Yaniv Ovadia, Emily Fertig, Jie Ren, Zachary Nado, D. Sculley, Sebastian Nowozin, Joshua V. Dillon, Balaji Lakshminarayanan, Jasper Snoek: Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. Advances in Neural Information Processing Systems 32 (NeurIPS 2019). Beşên 1, 4.2 û 5.

Çavkaniya orîjînal veke [2]