Hva kan en konfidensverdi fortelle deg?
En konfidensverdi i V2 beskriver grunnlaget for én prediksjon. Den måler ikke nøyaktigheten til hele tjenesten og fastslår ikke en persons kjønnsidentitet. Les confidence sammen med confidence_kind, source og sample_count.
Denne siden forklarer den nåværende svarkontrakten i V2 og en foreslått evalueringsprotokoll. Kontrakttester kontrollerer hvordan svarene oppfører seg; de er ikke en nøyaktighetsstudie med uavhengig merkede eksempler. Datoen da siden ble gjennomgått, er ikke datoen for en måling av nøyaktigheten.
En egen databaseprofil, observert 26. september 2026, rapporterer antall dokumenter ifølge metadataene for samlingene og den numeriske konsistensen i 5 000 tilfeldig utvalgte poster per samling. Disse kontrollene sammenligner ikke prediksjoner med uavhengige referanseetiketter og gir derfor ingen nøyaktighetsprosent.
To konfidenstyper med to betydninger
Et regneeksempel til illustrasjon: Hvis en valgt rad lagrer male = 90, female = 10 og total = 100, er confidence 0,9. Disse oppdiktede tallene er ikke en måling fra GenderAPI.io og betyr ikke at 90 % av personene med dette navnet identifiserer seg som menn.
De lagrede antallene publiseres ikke her som uavhengige, representative observasjoner. En verdi fra KI er ikke kalibrert mot disse antallene. Ikke sammenlign de to typene som om de var utskiftbare sannsynligheter, og ikke bruk en universell konfidensterskel uten en evaluering for ditt eget bruksområde.
| Svarfelt | Resultat fra datasettet | Resultat fra KI |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency når et kjønn returneres | model_reported når et kjønn returneres |
confidence | max(lagret antall male, lagret antall female) / lagret total når et kjønn returneres; null ved nøyaktig likt antall | En verdi rapportert av modellen, større enn 0,5 og høyst 1, når et kjønn returneres; ellers null |
sample_count | Totalen som er lagret i den valgte raden; ikke størrelsen på et evalueringsutvalg | null; det oppgis ingen utvalgsstørrelse fra datasettet |
match | Den valgte kandidaten, treffmetoden og om omfanget er landspesifikt eller globalt | method er model_inference; name, scope og country er null |
Ukjente og tvetydige resultater og mislykkede forespørsler
Et resultat fra datasettet har ingen universell terskel der lav konfidens avvises. Valideringen av KI-svar krever at en verdi som ikke er null, er større enn 0,5; det er en betingelse i kontrakten, ikke et bevis på kvaliteten til prediksjonen. Behold null i stedet for å gjøre det om til konfidensen 0 eller til en gjettet kategori.
| Utfall | Virkemåte i V2 | Behandling i evalueringen |
|---|---|---|
| Identifisert | result_status er identified, og gender er male eller female | Sammenlign med referanseetiketten, og tell tilfellet som besvart |
| Ukjent | gender og confidence er null; result_status er unknown | Behold tilfellet i utvalget av relevante tilfeller, og tell det atskilt fra en feil prediksjon |
| Tvetydig rad i datasettet | Likt lagret antall for male og female gir reason: ambiguous i modusen med bare datasettet; fallback kan erstatte dette utfallet med et resultat fra KI | Registrer det endelige utfallet og den valgte KI-modusen; ikke tell tvetydigheten som et ekstra utfall |
| Utilstrekkelig grunnlag for KI | Et ukjent resultat fra KI har source: ai og reason: insufficient_evidence | Tell det som ukjent; et gyldig JSON-svar beviser ikke at resultatet er riktig |
| Feil i forespørselen eller i et element | HTTP-feil og feil for enkeltelementer i en samleforespørsel er driftsmessige utfall, ikke kjønnsetiketter | Rapporter feil separat; publiser antallet og nevneren i stedet for å utelate dem i det stille |
Mål konfigurasjonen du faktisk bruker
- Hold inndata av typen navn, e-postadresse og brukernavn atskilt. Arbeidsflyter med e-postadresser og brukernavn omfatter uttrekk av kandidater, så en studie med bare navn måler ikke hvordan hele arbeidsflyten fungerer.
- Hold ai_mode-verdiene off, fallback og always atskilt. Uten forceToGenderize bruker enkeltforespørsler fallback som standard, mens samleforespørsler bruker off som standard. Med fallback prøves datasettet først, og KI spørres hvis det ikke returneres et kjønn. En samlet poengsum kan skjule forskjeller mellom resultater fra datasettet og fra KI.
- Evaluer forceToGenderize separat for alle inndatatyper som støttes. Alternativet kan utlede en tilknytning fra et kallenavn også når name er null; et alias er ikke et bevis på identiteten til personen som eier kontoen.
- Registrer om country ble oppgitt. Landrader foretrekkes for hver kandidat når de finnes, og det globale oppslaget brukes ellers; kontroller match.scope og match.country for å se hvilket grunnlag som ble valgt.
- Rapporter resultatene etter landkontekst, skrift og inndatatype, med antall tilfeller i hvert segment. En regional tilknytning er ikke nasjonalitet eller bosted.
- Bestem en eventuell konfidensterskel for applikasjonen før du måler et separat testutvalg. Rapporter både det rå resultatet fra API-et og svarene som terskelen holder tilbake, separat for hver confidence_kind.
Definisjoner av mål og nevnere
I en planlagt evaluering er N antallet relevante tilfeller med referanseetikett. A = C + W er antallet tilfeller med et besvart kjønn: C riktige og W feil. U er ukjente resultater, og E er driftsfeil etter at en forhåndsdefinert kjøringsregel er brukt. Med ett endelig utfall per tilfelle gjelder N = C + W + U + E. Publiser disse antallene før prosentene.
Når N = 0, er disse andelene for populasjonen ikke definert. Ikke publiser en udefinert andel som 0 %. Oppgi usikkerhetsintervaller og metoden som ble brukt til å beregne dem; små eller lite representative segmenter kan ikke underbygge brede påstander om nøyaktighet.
| Mål | Definisjon | Publisert måling |
|---|---|---|
| Svardekning | A / N | Ikke målt |
| Nøyaktighet for besvarte tilfeller | C / A; ikke definert hvis A = 0 | Ikke målt |
| Feilandel for besvarte tilfeller | W / A; ikke definert hvis A = 0 | Ikke målt |
| Riktige svar blant alle relevante tilfeller | C / N; ikke kall dette nøyaktighet for besvarte tilfeller | Ikke målt |
| Andel ukjente resultater | U / N; tvetydighet kan rapporteres som en delmengde av U | Ikke målt |
| Andel driftsfeil | E / N; del også opp feilene etter stabil feilkode | Ikke målt |
| Kalibrering | Sammenlign intervaller av verdier med observert riktighet, separat for observed_frequency og model_reported; oppgi inndelingen i intervaller, antallene og usikkerheten | Ikke målt |
Hva en reproduserbar evaluering må inneholde
Ikke lag referanseetiketter ved å be en annen tjeneste for navnebaserte prediksjoner om dens gjetninger. En slik sammenligning måler samsvar, ikke verifisert nøyaktighet, med mindre det finnes en egnet uavhengig referanse. Hvis referanseetikettene ikke passer til API-ets binære svar, dokumenterer du denne begrensningen og omfanget av evalueringen i stedet for å gi personer nye etiketter slik at de passer til API-et.
| Del | Nødvendige opplysninger | Nåværende offentlig grunnlag |
|---|---|---|
| Referansepopulasjon | Opprinnelsen til referanseetikettene og retten til å bruke dem; kriterier for inkludering og utelukkelse, utvalgsmetode, fjerning av duplikater og definisjoner av segmentene | Ingen gjennomgått referansedatasett er publisert her |
| Atskillelse fra kildedata | Kontroll av overlapp og lekkasje; skille mellom testdata fra utviklingen og en uavhengig, separat evaluering | Ingen bekreftet rapport om atskillelsen er publisert her |
| Versjon og kjøring | Dato for kjøringen, nøyaktig API-versjon, øyeblikksbilde av datasettet, versjon av modellen eller leverandøren når KI brukes, ledetekster og innstillinger for forespørslene | Ingen versjon av en gjennomført evaluering er publisert her |
| Resultater | N, C, W, U, E, antall per segment, konfidensintervaller og kalibreringsanalyse | Ingen målte ytelsesverdier er publisert her |
| Reproduksjon og gjennomgang | Evalueringskode, reproduserbare aggregerte resultater, kjente begrensninger og et identifiserbart ansvar for gjennomgangen | Bare en protokoll; ingen fullført uavhengig gjennomgang av en måling |
Bruk resultatet innenfor begrensningene
Tilknytninger mellom navn eller alias og kjønn varierer mellom språk, land og populasjoner. En returnert etikett kan ikke fastslå en persons kjønnsidentitet. Behold ukjente resultater, og la opplysninger som personen selv oppgir, ha forrang. Ikke bruk et utledet kjønn som grunnlag for beslutninger som har store konsekvenser for en person.
Endringshistorikk
| Dato | Dokumentversjon | Endring |
|---|---|---|
| 2026-09-29 | 1.0.0 | Norsk versjon av konfidenstypene i V2, kildene til resultatene, ukjente resultater og nevnerne i evalueringen. Det publiseres ikke noe nytt nøyaktighetsresultat. |