Γιατί η καλή βαθμονόμηση δεν αρκεί όταν τα δεδομένα αλλάζουν

Τι σημαίνει το «80 τοις εκατό»

Η βαθμονόμηση περιγράφει πόσο καλά η βεβαιότητα που δηλώνει ένα μοντέλο για τις προβλέψεις του συμφωνεί με την παρατηρούμενη συχνότητα ευστοχίας. Οι Guo και συνεργάτες το εξηγούν με ένα απλό παράδειγμα: από 100 προβλέψεις με βεβαιότητα 80 τοις εκατό η καθεμία, με τέλεια βαθμονόμηση αναμένονται 80 σωστές.[1] Το παράδειγμα επεξηγεί την έννοια· δεν είναι αποτέλεσμα μέτρησης. Με πεπερασμένο αριθμό προβλέψεων, η βαθμονόμηση ούτως ή άλλως μπορεί να μετρηθεί μόνο κατά προσέγγιση.[1]

Η βαθμονόμηση δεν είναι το ίδιο με το ποσοστό ευστοχίας. Οι Guo και συνεργάτες σύγκριναν στο σύνολο δεδομένων εικόνων CIFAR-100 ένα παλαιότερο, μικρό δίκτυο με ένα σύγχρονο, πολύ βαθύτερο δίκτυο. Το παλαιότερο έκανε συχνότερα λάθος, όμως η μέση βεβαιότητά του αντιστοιχούσε καλά στο ποσοστό ευστοχίας του. Το σύγχρονο δίκτυο έβρισκε συχνότερα τη σωστή απάντηση, κατά μέσο όρο όμως ήταν σημαντικά πιο βέβαιο απ’ όσο δικαιολογούσε το ποσοστό ευστοχίας του.[1]

Και τα δύο μεγέθη περιγράφουν ομάδες προβλέψεων. Δεν δείχνουν ποια μεμονωμένη πρόβλεψη θα είναι λανθασμένη. Μια ένδειξη 80 τοις εκατό δεν αποτελεί εγγύηση για τη μεμονωμένη περίπτωση· μπορεί να ελεγχθεί μόνο σε πολλές συγκρίσιμες περιπτώσεις.

Τι αλλάζει η εκ των υστέρων βαθμονόμηση

Η κλιμάκωση θερμοκρασίας προσαρμόζει τις πιθανότητες μετά την εκπαίδευση. Η μοναδική της παράμετρος προσδιορίζεται σε ξεχωριστά δεδομένα επικύρωσης.[1] Η προβλεπόμενη κλάση παραμένει η ίδια, γι’ αυτό το ποσοστό ευστοχίας στα ίδια παραδείγματα δεν αλλάζει.[1] Στα πειράματα των Guo και συνεργατών (2017), η μέθοδος μείωσε το μετρούμενο σφάλμα βαθμονόμησης σε σχεδόν όλους τους εξεταζόμενους συνδυασμούς συνόλου δεδομένων εικόνων ή κειμένου και μοντέλου. Εξαίρεση αποτέλεσε ένα σύνολο δεδομένων κειμένου που ήταν ήδη από πριν καλά βαθμονομημένο.[1]

Οι συγγραφείς υπέθεσαν ρητά ότι τα δεδομένα εκπαίδευσης, επικύρωσης και δοκιμής προέρχονται από την ίδια κατανομή.[1] Τα αποτελέσματά τους δείχνουν επομένως τι επιτυγχάνει η μέθοδος υπό αμετάβλητες συνθήκες.

Όταν τα δεδομένα αλλάζουν

Νέες εικόνες μπορεί, για παράδειγμα, να είναι πιο θολές από τις μέχρι τώρα εικόνες δοκιμής. Μια ευνοϊκή τιμή βαθμονόμησης από το αρχικό περιβάλλον δεν απαντά τότε στο πόσο αξιόπιστες είναι οι πιθανότητες υπό τις αλλαγμένες συνθήκες.

Οι Ovadia και συνεργάτες εξέτασαν το 2019 διάφορες μεθόδους υπό τέτοιες μετατοπίσεις δεδομένων. Για τα σύνολα δεδομένων εικόνων CIFAR-10 και ImageNet αλλοίωσαν τεχνητά τις εικόνες δοκιμής, με 16 είδη διαταραχών, όπως το θόλωμα, σε πέντε εντάσεις το καθένα.[2] Όσο αυξανόταν η αλλαγή, μειώνονταν το ποσοστό ευστοχίας και η ποιότητα της βαθμονόμησης.[2]

Η κλιμάκωση θερμοκρασίας πέτυχε χαμηλά σφάλματα βαθμονόμησης σε ασθενείς αλλαγές και βοήθησε σαφώς σε σύγκριση με το μη βαθμονομημένο μοντέλο. Σε ισχυρότερες αλλαγές, ωστόσο, το σφάλμα βαθμονόμησής της αυξήθηκε έντονα. Μια εκ των υστέρων βαθμονόμηση σε δεδομένα της αρχικής κατανομής δεν εγγυήθηκε επομένως βαθμονόμηση υπό μετατόπιση δεδομένων.[2] Άλλες μέθοδοι, κυρίως σύνολα (ensembles) πολλών ανεξάρτητα εκπαιδευμένων μοντέλων, είχαν καλύτερες επιδόσεις σε ισχυρότερες αλλαγές, έχασαν όμως επίσης σε ποιότητα.[2]

Τα αποτελέσματα ισχύουν για τα εξεταζόμενα μοντέλα, σύνολα δεδομένων και τεχνητά παραγόμενες αλλαγές. Δεν παρέχουν σταθερό ποσοστό σφάλματος για άλλο μοντέλο ή για τη χρήση του.

Ποια ερωτήματα προκύπτουν

Από αυτά τα ευρήματα το παρόν άρθρο συνάγει τρία ερωτήματα ελέγχου. Αποτελούν συντακτική τοποθέτηση, όχι αποτέλεσμα των μελετών:

• Με ποια δεδομένα έγινε η εκ των υστέρων βαθμονόμηση των πιθανοτήτων;
• Ελέγχθηκαν στη συνέχεια το ποσοστό ευστοχίας και η βαθμονόμηση σε δεδομένα που δεν χρησιμοποιήθηκαν ούτε για την εκπαίδευση ούτε για την εκ των υστέρων βαθμονόμηση;
• Ποιες αλλαγές των δεδομένων εισόδου, σχετικές με την προβλεπόμενη χρήση, εξετάστηκαν επιπλέον;

Μια μετατόπιση δεδομένων δεν καθιστά αναγκαστικά ένα μοντέλο άχρηστο. Μπορεί όμως να απαιτεί πρόσθετους ελέγχους προτού μεταφερθούν προηγούμενες διαπιστώσεις για την αξιοπιστία των πιθανοτήτων του.

Σημείωση: Το παρόν άρθρο εντάσσει σε πλαίσιο δύο δημοσιευμένες μελέτες. Για το άρθρο αυτό δεν διενεργήθηκαν ξεχωριστές μετρήσεις σε μοντέλα.