Τι δείχνει ένας βαθμός βεβαιότητας;
Η τιμή confidence του V2 περιγράφει τα τεκμήρια στα οποία βασίζεται μία μεμονωμένη πρόβλεψη. Δεν μετρά τη συνολική ακρίβεια της υπηρεσίας και δεν καθορίζει την ταυτότητα φύλου ενός ατόμου. Διαβάστε την μαζί με τα confidence_kind, source και sample_count.
Αυτός ο οδηγός περιγράφει την τρέχουσα σύμβαση απόκρισης του V2 και ένα προτεινόμενο πρωτόκολλο αξιολόγησης. Οι έλεγχοι της σύμβασης επαληθεύουν τη συμπεριφορά των αποκρίσεων. Δεν αποτελούν μελέτη ακρίβειας με ανεξάρτητες ετικέτες αναφοράς. Η ημερομηνία ενημέρωσης της σελίδας δεν είναι η ημερομηνία μιας μέτρησης της ακρίβειας.
Ένα χωριστό προφίλ της βάσης δεδομένων, με ημερομηνία 26 Σεπτεμβρίου 2026, αναφέρει τον αριθμό των εγγράφων σε καθεμία από τις δύο συλλογές σύμφωνα με τα μεταδεδομένα τους, καθώς και τη συνέπεια των μετρητών σε 5.000 τυχαία επιλεγμένες εγγραφές ανά συλλογή. Αυτοί οι έλεγχοι δεν συγκρίνουν τις προβλέψεις με ανεξάρτητες ετικέτες αναφοράς και επομένως δεν δίνουν καμία ποσοστιαία τιμή ακρίβειας.
Δύο τύποι βαθμού βεβαιότητας, δύο σημασίες
Ένας καθαρά ενδεικτικός υπολογισμός: αν η εγγραφή που επιλέχθηκε περιέχει male = 90, female = 10 και total = 100, η τιμή confidence είναι 0.9. Αυτοί οι επινοημένοι αριθμοί δεν είναι μετρημένο αποτέλεσμα του GenderAPI.io και δεν σημαίνουν ότι το 90% των ατόμων με αυτό το όνομα αυτοπροσδιορίζονται ως άνδρες.
Οι αποθηκευμένες συχνότητες δεν παρουσιάζονται εδώ ως ανεξάρτητες και αντιπροσωπευτικές παρατηρήσεις. Μια τιμή του AI δεν είναι βαθμονομημένη σε σχέση με αυτές τις συχνότητες. Μη συγκρίνετε τους δύο τύπους ως εναλλάξιμες πιθανότητες και μη χρησιμοποιείτε ένα καθολικό όριο βαθμού βεβαιότητας χωρίς αξιολόγηση για τη δική σας περίπτωση χρήσης.
| Πεδίο της απόκρισης | Αποτέλεσμα από το σύνολο δεδομένων | Αποτέλεσμα από το AI |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency όταν επιστρέφεται φύλο | model_reported όταν επιστρέφεται φύλο |
confidence | max(male, female) / total από τις αποθηκευμένες συχνότητες όταν επιστρέφεται φύλο, null όταν οι συχνότητες είναι ακριβώς ίσες | Μια τιμή που αναφέρει το μοντέλο, μεγαλύτερη από 0,5 και το πολύ 1, όταν επιστρέφεται φύλο, διαφορετικά null |
sample_count | Το αποθηκευμένο συνολικό πλήθος στην εγγραφή που επιλέχθηκε. Δεν είναι το μέγεθος του δείγματος μιας αξιολόγησης | null. Δεν αναφέρεται πλήθος δείγματος από το σύνολο δεδομένων |
match | Υποψήφιος που επιλέχθηκε, μέθοδος αντιστοίχισης και εύρος ανά χώρα ή γενικό | Το method είναι model_inference. Τα name, scope και country είναι null |
Άγνωστα και αμφίσημα αποτελέσματα και σφάλματα
Για τα αποτελέσματα του συνόλου δεδομένων δεν υπάρχει καθολικό όριο κάτω από το οποίο απορρίπτεται ένας χαμηλός βαθμός βεβαιότητας. Η επικύρωση των αποκρίσεων του AI απαιτεί μια τιμή διαφορετική από null να είναι μεγαλύτερη από 0,5. Πρόκειται για προϋπόθεση της σύμβασης και όχι για απόδειξη της ποιότητας της πρόβλεψης. Διατηρήστε το null αντί να το μετατρέπετε σε μηδενικό βαθμό βεβαιότητας ή σε μια μαντεμένη κατηγορία φύλου.
| Αποτέλεσμα | Συμπεριφορά του V2 | Χειρισμός στην αξιολόγηση |
|---|---|---|
| Αναγνωρισμένο | Το result_status είναι identified και το gender είναι male ή female | Συγκρίνετε με την ετικέτα αναφοράς και μετρήστε το ως περίπτωση με απάντηση |
| Άγνωστο | Τα gender και confidence είναι null. Το result_status είναι unknown | Κρατήστε το στο δείγμα των επιλέξιμων περιπτώσεων και μετρήστε το χωριστά από μια λανθασμένη πρόβλεψη |
| Ίσες συχνότητες στο σύνολο δεδομένων | Ίσες συχνότητες για male και female δίνουν reason: ambiguous στη λειτουργία μόνο με το σύνολο δεδομένων. Η εφεδρική χρήση μπορεί να αντικαταστήσει το αποτέλεσμα με αποτέλεσμα από το AI | Καταγράψτε το τελικό αποτέλεσμα και τη λειτουργία AI που επιλέχθηκε. Μη μετράτε την αμφισημία ως πρόσθετο αποτέλεσμα |
| Ανεπαρκή τεκμήρια για το AI | Ένα άγνωστο αποτέλεσμα του AI έχει source: ai και reason: insufficient_evidence | Μετρήστε το ως unknown. Μια έγκυρη απόκριση JSON δεν αποδεικνύει ότι το αποτέλεσμα είναι σωστό |
| Σφάλμα αιτήματος ή στοιχείου | Τα σφάλματα HTTP και τα σφάλματα μεμονωμένων στοιχείων μιας παρτίδας είναι λειτουργικές εκβάσεις και όχι ετικέτες φύλου | Αναφέρετε τα σφάλματα χωριστά. Δημοσιεύστε τον αριθμό τους και τον παρονομαστή αντί να τα παραλείπετε σιωπηρά |
Αξιολόγηση της ρύθμισης που πραγματικά χρησιμοποιείτε
- Κρατήστε χωριστά τις εισόδους τύπου ονόματος, διεύθυνσης email και ονόματος χρήστη. Η ροή για διευθύνσεις email και ονόματα χρήστη περιλαμβάνει την εξαγωγή υποψηφίων, οπότε μια μελέτη μόνο με ονόματα δεν μετρά την απόδοση της ροής από την αρχή ως το τέλος.
- Κρατήστε χωριστά τις τιμές off, fallback και always του ai_mode. Χωρίς forceToGenderize, τα μεμονωμένα αιτήματα χρησιμοποιούν από προεπιλογή fallback και οι παρτίδες off. Η εφεδρική χρήση ελέγχει πρώτα το σύνολο δεδομένων και χρησιμοποιεί AI αν δεν επιστραφεί φύλο. Ένα συγκεντρωτικό αποτέλεσμα μπορεί να κρύψει τη διαφορά ανάμεσα στα αποτελέσματα του συνόλου δεδομένων και σε εκείνα του AI.
- Αξιολογήστε το forceToGenderize χωριστά για κάθε υποστηριζόμενο τύπο εισόδου. Μπορεί να συναγάγει μια συσχέτιση από ένα ψευδώνυμο ακόμη κι όταν το name είναι null. Ένα alias δεν δείχνει την ταυτότητα του κατόχου του λογαριασμού.
- Καταγράψτε αν δόθηκε country. Για κάθε υποψήφιο προηγείται η εγγραφή της συγκεκριμένης χώρας, αν υπάρχει, διαφορετικά χρησιμοποιείται η γενική αναζήτηση. Ελέγξτε τα match.scope και match.country για να δείτε ποια εγγραφή επιλέχθηκε.
- Αναφέρετε τα αποτελέσματα ανά πλαίσιο χώρας, σύστημα γραφής και τύπο εισόδου και δώστε τον αριθμό των περιπτώσεων σε κάθε τμήμα. Μια περιφερειακή συσχέτιση δεν σημαίνει ούτε εθνικότητα ούτε τόπο διαμονής.
- Ορίστε ένα ενδεχόμενο όριο βαθμού βεβαιότητας της εφαρμογής σας πριν μετρήσετε ένα δείγμα ελέγχου που έχει κρατηθεί χωριστά. Δημοσιεύστε τόσο το αμετάβλητο αποτέλεσμα του API όσο και τις απαντήσεις που απέκλεισε το όριο, χωριστά για κάθε confidence_kind.
Ορισμοί των μετρικών και των παρονομαστών
Στην προβλεπόμενη αξιολόγηση, N είναι ο αριθμός των επιλέξιμων περιπτώσεων με ετικέτα αναφοράς. A = C + W είναι ο αριθμός των περιπτώσεων στις οποίες επιστράφηκε φύλο: C σωστές και W λανθασμένες. U δηλώνει τα άγνωστα αποτελέσματα και E τα λειτουργικά σφάλματα μετά την εφαρμογή ενός κανόνα εκτέλεσης που έχει οριστεί εκ των προτέρων. Με ένα τελικό αποτέλεσμα ανά περίπτωση ισχύει N = C + W + U + E. Δημοσιεύστε αυτά τα πλήθη πριν από τις ποσοστιαίες τιμές.
Αν N = 0, οι μετρικές που αφορούν ολόκληρο τον πληθυσμό δεν ορίζονται. Μη δημοσιεύετε μια μετρική που δεν ορίζεται ως 0%. Δώστε τα διαστήματα αβεβαιότητας και τον τρόπο με τον οποίο υπολογίστηκαν. Μικρά ή μη αντιπροσωπευτικά τμήματα δεν δικαιολογούν γενικούς ισχυρισμούς για την ακρίβεια.
| Μετρική | Ορισμός | Δημοσιευμένη μέτρηση |
|---|---|---|
| Κάλυψη απαντήσεων | A / N | Δεν έχει μετρηθεί |
| Ακρίβεια στις περιπτώσεις με απάντηση | C / A, δεν ορίζεται όταν A = 0 | Δεν έχει μετρηθεί |
| Ποσοστό σφάλματος στις περιπτώσεις με απάντηση | W / A, δεν ορίζεται όταν A = 0 | Δεν έχει μετρηθεί |
| Σωστές απαντήσεις σε όλες τις επιλέξιμες περιπτώσεις | C / N. Μην το παρουσιάζετε ως ακρίβεια στις περιπτώσεις με απάντηση | Δεν έχει μετρηθεί |
| Μερίδιο άγνωστων αποτελεσμάτων | U / N. Η αμφισημία μπορεί να αναφερθεί ως υποσύνολο του U | Δεν έχει μετρηθεί |
| Μερίδιο λειτουργικών σφαλμάτων | E / N. Κατανείμετε επιπλέον τα σφάλματα ανά σταθερό κωδικό σφάλματος | Δεν έχει μετρηθεί |
| Βαθμονόμηση | Συγκρίνετε τα διαστήματα τιμών με την παρατηρούμενη ορθότητα, χωριστά για observed_frequency και model_reported. Δώστε τη διαίρεση σε διαστήματα, τον αριθμό των περιπτώσεων και την αβεβαιότητα | Δεν έχει μετρηθεί |
Τι πρέπει να περιλαμβάνει μια αναπαραγώγιμη αξιολόγηση
Μη δημιουργείτε ετικέτες αναφοράς ζητώντας την εκτίμηση μιας άλλης υπηρεσίας προσδιορισμού φύλου από ονόματα. Χωρίς κατάλληλη ανεξάρτητη αναφορά, μια τέτοια σύγκριση μετρά τη συμφωνία και όχι μια επαληθευμένη ακρίβεια. Αν οι ετικέτες αναφοράς δεν αντιστοιχούν στα δυαδικά αποτελέσματα του API, περιγράψτε αυτόν τον περιορισμό και το εύρος της αξιολόγησης αντί να προσαρμόζετε τις ετικέτες των ατόμων στο API.
| Στοιχείο της αξιολόγησης | Απαιτούμενες πληροφορίες | Τρέχοντα δημόσια τεκμήρια |
|---|---|---|
| Πληθυσμός αναφοράς | Προέλευση των ετικετών αναφοράς και δικαίωμα χρήσης τους, κριτήρια ένταξης και αποκλεισμού, διαδικασία δειγματοληψίας, αφαίρεση διπλοτύπων και ορισμοί των τμημάτων | Δεν έχει δημοσιευθεί εδώ επαληθευμένο σύνολο δεδομένων αναφοράς |
| Διαχωρισμός από τα δεδομένα προέλευσης | Έλεγχος επικαλύψεων και διαρροής δεδομένων, διαχωρισμός ανάμεσα στα δεδομένα ελέγχου της ανάπτυξης και σε μια ανεξάρτητη αξιολόγηση που έχει κρατηθεί χωριστά | Δεν έχει δημοσιευθεί εδώ αναφορά που να επιβεβαιώνει τον διαχωρισμό |
| Έκδοση και εκτέλεση | Ημερομηνία εκτέλεσης, ακριβής έκδοση του API, στιγμιότυπο του συνόλου δεδομένων, έκδοση του μοντέλου ή του παρόχου όταν χρησιμοποιείται AI, prompt και ρυθμίσεις των αιτημάτων | Δεν έχει δημοσιευθεί εδώ έκδοση κάποιας αξιολόγησης που εκτελέστηκε |
| Αποτελέσματα | N, C, W, U, E, αριθμός περιπτώσεων ανά τμήμα, διαστήματα εμπιστοσύνης και ανάλυση της βαθμονόμησης | Δεν έχει δημοσιευθεί εδώ καμία μετρημένη τιμή απόδοσης |
| Αναπαραγωγή και έλεγχος | Κώδικας αξιολόγησης, αναπαραγώγιμα συγκεντρωτικά αποτελέσματα, γνωστοί περιορισμοί και ένα κατονομαζόμενο άτομο ή ομάδα υπεύθυνη για τον έλεγχο | Μόνο πρωτόκολλο. Δεν έχει ολοκληρωθεί ανεξάρτητη αξιολόγηση |
Χρήση του αποτελέσματος εντός των ορίων του
Οι συσχετίσεις ανάμεσα σε ονόματα ή ψευδώνυμα και φύλο διαφέρουν ανάμεσα σε γλώσσες, χώρες και πληθυσμούς. Μια ετικέτα που επιστρέφεται δεν μπορεί να καθορίσει την ταυτότητα φύλου ενός ατόμου. Διατηρήστε τα άγνωστα αποτελέσματα και δώστε προτεραιότητα σε ό,τι δηλώνει το ίδιο το άτομο. Μην παίρνετε αποφάσεις με σημαντικές συνέπειες για ένα άτομο με βάση ένα φύλο που συνάγεται.
Ιστορικό αλλαγών
| Ημερομηνία | Έκδοση του εγγράφου | Αλλαγή |
|---|---|---|
| 2026-09-29 | 1.0.0 | Ελληνική έκδοση των τύπων βαθμού βεβαιότητας του V2, των πηγών των αποτελεσμάτων, των άγνωστων αποτελεσμάτων και των παρονομαστών της αξιολόγησης. Δεν δημοσιεύθηκε καμία νέα τιμή ακρίβειας. |