Vad säger ett konfidensvärde?
Värdet confidence i V2 beskriver de uppgifter som en enskild prediktion bygger på. Det mäter varken tjänstens samlade noggrannhet eller fastställer en persons könsidentitet. Läs det tillsammans med confidence_kind, source och sample_count.
Den här guiden beskriver det nuvarande svarskontraktet i V2 och ett föreslaget utvärderingsprotokoll. Kontraktstester kontrollerar hur svaren beter sig; de är ingen noggrannhetsstudie med oberoende referensetiketter. Sidans uppdateringsdatum är inget datum för en mätning av noggrannheten.
En separat databasprofil från den 26 september 2026 anger antalet dokument i var och en av de två samlingarna enligt deras metadata samt räknarnas konsekvens i 5 000 slumpmässigt valda poster per samling. Kontrollerna jämför inga prediktioner med oberoende referensetiketter och ger därför inget noggrannhetsvärde i procent.
Två typer av konfidens, två betydelser
En rent illustrativ beräkning: om den valda posten innehåller male = 90, female = 10 och total = 100 är dess confidence 0.9. De påhittade siffrorna är inget uppmätt resultat från GenderAPI.io och betyder inte att 90 % av personerna med det namnet identifierar sig som män.
Lagrade frekvenser framställs här inte som oberoende och representativa observationer. Ett AI-värde är inte kalibrerat mot dessa frekvenser. Jämför inte de två typerna som utbytbara sannolikheter och använd inget universellt tröskelvärde för konfidens utan en utvärdering för ditt användningsfall.
| Svarsfält | Resultat från datamängden | AI-resultat |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency när ett kön returneras | model_reported när ett kön returneras |
confidence | max(male, female) / total från de lagrade frekvenserna när ett kön returneras; null vid exakt lika frekvenser | Ett värde som modellen rapporterar, större än 0,5 och högst 1, när ett kön returneras; annars null |
sample_count | Det totala antal som lagras i den valda posten; ingen urvalsstorlek i en utvärdering | null; inget urvalsantal från datamängden anges |
match | Vald kandidat, matchningsmetod och landsspecifik eller global omfattning | method är model_inference; name, scope och country är null |
Okända och tvetydiga resultat samt fel
För resultat från datamängden finns inget universellt tröskelvärde under vilket låg konfidens förkastas. Valideringen av AI-svar kräver att ett värde som inte är null är större än 0,5; det är ett villkor i kontraktet och inget belägg för prediktionens kvalitet. Behåll null i stället för att omvandla det till konfidensen noll eller en gissad könskategori.
| Resultat | Beteende i V2 | Hantering i utvärderingen |
|---|---|---|
| Identifierat | result_status är identified och gender är male eller female | Jämför med referensetiketten och räkna som ett besvarat fall |
| Okänt | gender och confidence är null; result_status är unknown | Behåll i urvalet av berättigade fall och räkna separat från en felaktig prediktion |
| Lika frekvenser i datamängden | Lika frekvenser för male och female ger reason: ambiguous i läget som bara använder datamängden; reserven kan ersätta resultatet med ett AI-resultat | Registrera det slutliga resultatet och det valda AI-läget; räkna inte tvetydighet som ett extra resultat |
| Otillräckligt underlag för AI | Ett okänt AI-resultat har source: ai och reason: insufficient_evidence | Räkna som unknown; ett giltigt JSON-svar visar inte att resultatet är korrekt |
| Fel i förfrågan eller i en post | HTTP-fel och fel i enskilda poster i en batch är driftsresultat, inga könsetiketter | Redovisa fel separat; publicera deras antal och nämnaren i stället för att tyst utelämna dem |
Utvärdera den konfiguration du faktiskt använder
- Håll isär indata av typen namn, e-postadress och användarnamn. Flödet för e-postadresser och användarnamn omfattar extrahering av kandidater, så en studie med bara namn mäter inte flödets prestanda från början till slut.
- Håll isär värdena off, fallback och always för ai_mode. Utan forceToGenderize använder enskilda förfrågningar fallback som standard och batchar off. Reserven kontrollerar datamängden först och använder AI om inget kön returneras. Ett sammanslaget resultat kan dölja skillnaden mellan resultat från datamängden och från AI.
- Utvärdera forceToGenderize separat för varje indatatyp som stöds. Det kan härleda en koppling ur ett smeknamn även när name är null; ett alias visar inte kontoinnehavarens identitet.
- Registrera om country angavs. För varje kandidat har den landsspecifika posten företräde om den finns, annars används den globala sökningen; kontrollera match.scope och match.country för att se vilken post som valdes.
- Redovisa resultat per landskontext, skriftsystem och indatatyp och ange antalet fall i varje segment. En regional koppling innebär varken nationalitet eller bostadsort.
- Bestäm ett eventuellt tröskelvärde för konfidens i din applikation innan du mäter ett undanhållet testurval. Publicera både det oförändrade API-resultatet och de svar som hålls tillbaka av tröskelvärdet, separat för varje confidence_kind.
Definitioner av mått och nämnare
I den planerade utvärderingen är N antalet berättigade fall med referensetikett. A = C + W är antalet fall där ett kön returnerades: C korrekta och W felaktiga. U står för okända resultat och E för driftsfel efter att en i förväg fastställd körningsregel har tillämpats. Med ett slutligt resultat per fall gäller N = C + W + U + E. Publicera dessa antal före procentvärdena.
Om N = 0 är de mått som avser hela populationen odefinierade. Publicera inte ett odefinierat mått som 0 %. Ange osäkerhetsintervall och hur de har beräknats; små eller icke representativa segment motiverar inga allmänna påståenden om noggrannhet.
| Mått | Definition | Publicerad mätning |
|---|---|---|
| Svarstäckning | A / N | Inte mätt |
| Noggrannhet för besvarade fall | C / A; odefinierad när A = 0 | Inte mätt |
| Felandel för besvarade fall | W / A; odefinierad när A = 0 | Inte mätt |
| Korrekta svar bland alla berättigade fall | C / N; framställ inte som noggrannhet för besvarade fall | Inte mätt |
| Andel okända resultat | U / N; tvetydighet kan redovisas som en delmängd av U | Inte mätt |
| Andel driftsfel | E / N; dela dessutom upp felen efter stabil felkod | Inte mätt |
| Kalibrering | Jämför värdeintervall med den observerade korrektheten, separat för observed_frequency och model_reported; ange intervallindelning, antal fall och osäkerhet | Inte mätt |
Vad en reproducerbar utvärdering måste innehålla
Skapa inte referensetiketter genom att fråga en annan tjänst för könsbestämning utifrån namn om dess bedömning. Utan en lämplig oberoende referenspunkt mäter en sådan jämförelse överensstämmelse, inte granskad noggrannhet. Om referensetiketterna inte motsvarar API:ets binära resultat ska du beskriva den begränsningen och utvärderingens omfattning i stället för att anpassa personers etiketter till API:et.
| Del | Uppgift som krävs | Nuvarande offentliga underlag |
|---|---|---|
| Referenspopulation | Referensetiketternas ursprung och rätten att använda dem; kriterier för inkludering och exkludering, urvalsförfarande, borttagning av dubbletter och segmentdefinitioner | Ingen granskad referensdatamängd har publicerats här |
| Åtskillnad från källdata | Kontroll av överlappningar och dataläckage; åtskillnad mellan testdata från utvecklingen och en oberoende, undanhållen utvärdering | Ingen rapport som bekräftar åtskillnaden har publicerats här |
| Version och genomförande | Datum för genomförandet, exakt API-version, ögonblicksbild av datamängden, modell- eller leverantörsversion när AI används, prompter och inställningar för förfrågningar | Ingen version av en genomförd utvärdering har publicerats här |
| Resultat | N, C, W, U, E, antal fall per segment, konfidensintervall och kalibreringsanalys | Inga uppmätta prestandavärden har publicerats här |
| Reproduktion och granskning | Utvärderingskod, reproducerbara aggregerade resultat, kända begränsningar och en namngiven person eller ett namngivet team som ansvarar för granskningen | Endast protokoll; ingen slutförd oberoende utvärdering |
Använd resultatet med respekt för dess begränsningar
Kopplingar mellan namn eller smeknamn och kön skiljer sig åt mellan språk, länder och populationer. En returnerad etikett kan inte fastställa en persons könsidentitet. Behåll okända resultat och låt det personen själv uppger ha företräde. Fatta inga beslut med stora konsekvenser för en person utifrån ett härlett kön.
Ändringshistorik
| Datum | Dokumentversion | Ändring |
|---|---|---|
| 2026-09-28 | 1.0.0 | Svensk version av konfidenstyperna i V2, resultatkällorna, de okända resultaten och utvärderingens nämnare. Inget nytt noggrannhetsvärde har publicerats. |