Hvad fortæller en konfidensværdi?
Værdien confidence i V2 beskriver evidensen bag én forudsigelse. Den måler ikke tjenestens nøjagtighed som helhed og fastslår ikke en persons kønsidentitet. Læs værdien sammen med confidence_kind, source og sample_count.
Denne guide beskriver den nuværende svarkontrakt i V2 og en foreslået evalueringsprotokol. Kontrakttestene kontrollerer svarenes adfærd; de er ikke en nøjagtighedsundersøgelse med uafhængige referencelabels. Datoen, hvor denne side blev opdateret, er ikke datoen for en måling af nøjagtigheden.
En separat databaseprofil, dateret 26. september 2026, angiver for hver af de to samlinger antallet af dokumenter ifølge metadataene og tællernes konsistens i 5.000 tilfældigt udvalgte poster pr. samling. Disse kontroller sammenligner ikke forudsigelser med uafhængige referencelabels og giver derfor ingen nøjagtighedsprocent.
To typer konfidens, to betydninger
Et illustrativt regneeksempel: Hvis den valgte post indeholder male = 90, female = 10 og total = 100, er værdien confidence 0.9. Disse opdigtede tal er ikke et målt resultat fra GenderAPI.io og betyder ikke, at 90 % af personerne med det navn identificerer sig som mand.
De lagrede frekvenser præsenteres her ikke som uafhængige, repræsentative observationer. En AI-værdi er ikke kalibreret i forhold til disse frekvenser. Sammenlign ikke de to typer som indbyrdes udskiftelige sandsynligheder, og brug ikke en universel tærskel for konfidens uden en evaluering af din egen anvendelse.
| Svarfelt | Resultat fra datasættet | Resultat fra AI |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency, når der returneres et køn | model_reported, når der returneres et køn |
confidence | max(male, female) / total fra de lagrede frekvenser, når der returneres et køn; null ved helt lige store frekvenser | En værdi angivet af modellen, større end 0,5 og højst 1, når der returneres et køn; ellers null |
sample_count | Det lagrede samlede antal i den valgte post; ikke en stikprøvestørrelse fra en evaluering | null; der angives ingen stikprøvestørrelse fra datasættet |
match | Valgt kandidat, matchmetode og landespecifikt eller globalt omfang | method er model_inference; name, scope og country er null |
Ukendte og tvetydige resultater samt fejl
For resultater fra datasættet findes der ingen universel tærskel, under hvilken en lav konfidensværdi afvises. Valideringen af AI-svar kræver, at en værdi, der ikke er null, er større end 0,5. Det er en betingelse i kontrakten og ikke et bevis for forudsigelsens kvalitet. Bevar null i stedet for at omsætte det til en konfidensværdi på nul eller til en gættet kønskategori.
| Resultat | Adfærd i V2 | Behandling i evalueringen |
|---|---|---|
| Identificeret | result_status er identified, og gender er male eller female | Sammenlign med referencelabelen, og tæl med som besvaret tilfælde |
| Ukendt | gender og confidence er null; result_status er unknown | Behold tilfældet i stikprøven af relevante tilfælde, og tæl det separat fra en forkert forudsigelse |
| Lige store frekvenser i datasættet | Lige store frekvenser for male og female giver reason: ambiguous i den tilstand, der kun bruger datasættet; fallback kan erstatte det resultat med et resultat fra AI | Registrér det endelige resultat og den valgte AI-tilstand; tæl ikke tvetydighed som et ekstra resultat |
| Utilstrækkelig evidens for AI | Et ukendt resultat fra AI har source: ai og reason: insufficient_evidence | Tæl som unknown; et gyldigt JSON-svar beviser ikke, at resultatet er korrekt |
| Fejl i forespørgslen eller i et element | HTTP-fejl og fejl i enkelte elementer i en batch er driftsmæssige udfald, ikke kønslabels | Rapportér fejl separat; offentliggør deres antal og nævneren i stedet for i stilhed at udelade dem |
Evaluér den konfiguration, du faktisk bruger
- Hold input af typen navn, e-mailadresse og brugernavn adskilt. Behandlingen af e-mailadresser og brugernavne omfatter udledning af kandidater, så en undersøgelse med kun navne måler ikke, hvordan hele denne behandling klarer sig.
- Hold værdierne off, fallback og always for ai_mode adskilt. Uden forceToGenderize bruger enkeltforespørgsler som standard fallback og batches som standard off. Fallback slår først op i datasættet og bruger AI, hvis der ikke returneres et køn. En samlet score kan skjule forskellen mellem resultater fra datasættet og fra AI.
- Evaluér forceToGenderize separat for hver understøttet inputtype. Indstillingen kan udlede en sammenhæng fra et kaldenavn, også når name er null; et alias siger intet om identiteten på den person, der ejer kontoen.
- Registrér, om country er angivet. For hver kandidat får den landespecifikke post forrang, hvis den findes, og ellers bruges det globale opslag. Kontrollér match.scope og match.country for at se, hvilken post der blev valgt.
- Rapportér resultaterne pr. landekontekst, skrift og inputtype, og angiv antallet af tilfælde i hvert segment. En regional sammenhæng siger intet om nationalitet eller bopæl.
- Fastlæg en eventuel tærskel for konfidens i din applikation, før du måler en separat testprøve. Offentliggør både API'ets rå resultat og de svar, som tærsklen frasorterer, separat for hver confidence_kind.
Definitioner af målinger og nævnere
I den planlagte evaluering er N antallet af relevante tilfælde med en referencelabel. A = C + W er antallet af tilfælde, hvor der er returneret et køn: C korrekte og W forkerte. U står for ukendte resultater og E for driftsmæssige fejl efter anvendelse af en på forhånd fastlagt kørselsregel. Med ét endeligt resultat pr. tilfælde gælder N = C + W + U + E. Offentliggør disse antal før procenterne.
Hvis N = 0, er målingerne for hele populationen ikke defineret. Offentliggør ikke en udefineret måling som 0 %. Angiv usikkerhedsintervallerne, og hvordan de er beregnet. Små eller ikke-repræsentative segmenter berettiger ikke generelle udsagn om nøjagtighed.
| Måling | Definition | Offentliggjort måling |
|---|---|---|
| Svardækning | A / N | Ikke målt |
| Nøjagtighed for besvarede tilfælde | C / A; ikke defineret, hvis A = 0 | Ikke målt |
| Fejlprocent for besvarede tilfælde | W / A; ikke defineret, hvis A = 0 | Ikke målt |
| Korrekte svar blandt alle relevante tilfælde | C / N; præsentér ikke dette som nøjagtighed for besvarede tilfælde | Ikke målt |
| Andel ukendte resultater | U / N; tvetydighed kan rapporteres som en delmængde af U | Ikke målt |
| Andel driftsmæssige fejl | E / N; opdel desuden fejlene efter stabil fejlkode | Ikke målt |
| Kalibrering | Sammenlign scoreintervaller med den observerede korrekthed, separat for observed_frequency og model_reported; angiv inddelingen i intervaller, antallet af tilfælde og usikkerheden | Ikke målt |
Hvad en reproducerbar evaluering skal indeholde
Lav ikke referencelabels ved at bede en anden tjeneste til kønsbestemmelse ud fra navne om dens forudsigelser. Uden en egnet uafhængig reference måler en sådan sammenligning overensstemmelse og ikke verificeret nøjagtighed. Hvis referencelabelsene ikke passer til API'ets binære udfald, skal du beskrive den begrænsning og evalueringens omfang i stedet for at tilpasse personers labels til API'et.
| Del | Nødvendige oplysninger | Nuværende offentlig evidens |
|---|---|---|
| Referencepopulation | Referencelabelsenes oprindelse og retten til at bruge dem; kriterier for medtagelse og udelukkelse, stikprøveprocedure, fjernelse af dubletter og definitioner af segmenterne | Der er ikke offentliggjort et kontrolleret referencedatasæt her |
| Adskillelse af kildedata | Kontrol af overlap og datalæk; adskillelse mellem testdata fra udviklingen og en uafhængig, separat evaluering | Der er ikke offentliggjort en rapport her, der bekræfter adskillelsen |
| Version og kørsel | Dato for kørslen, API'ets nøjagtige version, øjebliksbillede af datasættet, version af modellen eller udbyderen, hvis AI bruges, prompts og indstillinger for forespørgslerne | Der er ikke offentliggjort en version af en gennemført evaluering her |
| Resultater | N, C, W, U, E, antal tilfælde pr. segment, konfidensintervaller og kalibreringsanalyse | Der er ikke offentliggjort målte præstationsværdier her |
| Reproduktion og gennemgang | Evalueringskode, reproducerbare aggregerede resultater, kendte begrænsninger og en navngiven person eller et team med ansvar for gennemgangen | Kun en protokol; ingen afsluttet uafhængig evaluering |
Brug resultatet inden for dets grænser
Sammenhænge mellem navne eller kaldenavne og køn varierer efter sprog, land og population. En returneret label kan ikke fastslå en persons kønsidentitet. Bevar ukendte resultater, og lad det, personen selv oplyser, have forrang. Brug ikke et udledt køn som grundlag for beslutninger, der har betydelige konsekvenser for en person.
Ændringshistorik
| Dato | Dokumentversion | Ændring |
|---|---|---|
| 2026-09-29 | 1.0.0 | Dansk version af konfidenstyperne i V2, resultaternes kilder, ukendte resultater og evalueringens nævnere. Der er ikke offentliggjort nogen ny nøjagtighedsværdi. |