Wat zegt een betrouwbaarheidsscore?
De waarde confidence in V2 beschrijft het bewijs achter één voorspelling. Ze meet niet de nauwkeurigheid van de dienst als geheel en stelt de genderidentiteit van een persoon niet vast. Lees de waarde samen met confidence_kind, source en sample_count.
Deze handleiding beschrijft het huidige antwoordcontract van V2 en een voorgesteld evaluatieprotocol. De contracttests controleren het gedrag van de antwoorden; het is geen nauwkeurigheidsonderzoek met onafhankelijke referentielabels. De datum waarop deze pagina is bijgewerkt, is niet de datum van een nauwkeurigheidsmeting.
Een afzonderlijk databaseprofiel, gedateerd 26 september 2026, vermeldt voor elk van de twee collecties het aantal documenten volgens de metadata en de consistentie van de tellers in 5.000 willekeurig geselecteerde items per collectie. Deze controles vergelijken voorspellingen niet met onafhankelijke referentielabels en leveren dus geen nauwkeurigheidspercentage op.
Twee soorten betrouwbaarheidsscores, twee betekenissen
Een rekenvoorbeeld ter illustratie: als het geselecteerde item male = 90, female = 10 en total = 100 bevat, is de waarde confidence 0.9. Deze verzonnen getallen zijn geen gemeten resultaat van GenderAPI.io en betekenen niet dat 90% van de mensen met die naam zich als man identificeert.
De opgeslagen frequenties worden hier niet gepresenteerd als onafhankelijke, representatieve waarnemingen. Een AI-score is niet gekalibreerd ten opzichte van die frequenties. Vergelijk de twee soorten niet als uitwisselbare kansen en gebruik geen universele drempel voor de betrouwbaarheidsscore zonder een evaluatie voor uw eigen toepassing.
| Antwoordveld | Resultaat uit de dataset | Resultaat van AI |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency als een geslacht wordt teruggegeven | model_reported als een geslacht wordt teruggegeven |
confidence | max(male, female) / total uit de opgeslagen frequenties als een geslacht wordt teruggegeven; null bij exact gelijke frequenties | Een door het model opgegeven score, groter dan 0,5 en hoogstens 1, als een geslacht wordt teruggegeven; anders null |
sample_count | De opgeslagen totale telling in het geselecteerde item; geen steekproefgrootte van een evaluatie | null; er wordt geen steekproefgrootte uit de dataset vermeld |
match | Geselecteerde kandidaat, matchmethode en landspecifiek of globaal bereik | method is model_inference; name, scope en country zijn null |
Onbekende en dubbelzinnige resultaten en fouten
Voor resultaten uit de dataset bestaat geen universele drempel waaronder een lage betrouwbaarheidsscore wordt afgewezen. De validatie van AI-antwoorden vereist dat een waarde anders dan null groter is dan 0,5; dat is een voorwaarde van het contract en geen bewijs van de kwaliteit van de voorspelling. Bewaar null in plaats van het om te zetten in een betrouwbaarheidsscore van nul of in een geraden geslachtscategorie.
| Resultaat | Gedrag van V2 | Behandeling in de evaluatie |
|---|---|---|
| Geïdentificeerd | result_status is identified en gender is male of female | Vergelijk met het referentielabel en tel mee als beantwoord geval |
| Onbekend | gender en confidence zijn null; result_status is unknown | Houd het geval in de steekproef van in aanmerking komende gevallen en tel het apart van een onjuiste voorspelling |
| Gelijke frequenties in de dataset | Gelijke frequenties voor male en female geven reason: ambiguous in de modus die alleen de dataset gebruikt; de fallback kan dat resultaat vervangen door een resultaat van AI | Registreer het uiteindelijke resultaat en de gekozen AI-modus; tel dubbelzinnigheid niet als een extra resultaat |
| Onvoldoende bewijs voor AI | Een onbekend resultaat van AI heeft source: ai en reason: insufficient_evidence | Tel als unknown; een geldig JSON-antwoord bewijst niet dat het resultaat juist is |
| Fout in het verzoek of in een item | HTTP-fouten en fouten in afzonderlijke items van een batch zijn operationele uitkomsten, geen geslachtslabels | Rapporteer fouten apart; publiceer hun aantal en de noemer in plaats van ze stilzwijgend weg te laten |
De configuratie evalueren die u werkelijk gebruikt
- Houd invoer van het type naam, e-mailadres en gebruikersnaam gescheiden. De verwerking van e-mailadressen en gebruikersnamen omvat het afleiden van kandidaten, dus een onderzoek met alleen namen meet de prestaties van die volledige verwerking niet.
- Houd de waarden off, fallback en always van ai_mode gescheiden. Zonder forceToGenderize gebruiken losse verzoeken standaard fallback en batches standaard off. De fallback raadpleegt eerst de dataset en gebruikt AI als er geen geslacht wordt teruggegeven. Een gecombineerde score kan het verschil tussen resultaten uit de dataset en van AI verbergen.
- Evalueer forceToGenderize apart voor elk ondersteund invoertype. Het kan een koppeling afleiden uit een bijnaam, ook als name null is; een alias zegt niets over de identiteit van de eigenaar van het account.
- Registreer of country is opgegeven. Per kandidaat krijgt het landspecifieke item voorrang als het bestaat, en anders wordt de globale zoekopdracht gebruikt; controleer match.scope en match.country om te zien welk item is geselecteerd.
- Rapporteer de resultaten per landcontext, schrift en invoertype en vermeld het aantal gevallen in elk segment. Een regionale koppeling zegt niets over nationaliteit of woonplaats.
- Leg een eventuele drempel voor de betrouwbaarheidsscore in uw applicatie vast voordat u een apart gehouden teststeekproef meet. Publiceer zowel het onbewerkte resultaat van de API als de antwoorden die door die drempel worden tegengehouden, apart voor elke confidence_kind.
Definities van metrieken en noemers
In de geplande evaluatie is N het aantal in aanmerking komende gevallen met een referentielabel. A = C + W is het aantal gevallen waarin een geslacht is teruggegeven: C juist en W onjuist. U staat voor onbekende resultaten en E voor operationele fouten na toepassing van een vooraf vastgelegde uitvoeringsregel. Met één uiteindelijk resultaat per geval geldt N = C + W + U + E. Publiceer deze aantallen vóór de percentages.
Als N = 0, zijn de metrieken voor de hele populatie niet gedefinieerd. Publiceer een niet-gedefinieerde metriek niet als 0%. Vermeld de onzekerheidsintervallen en hoe ze zijn berekend; kleine of niet-representatieve segmenten rechtvaardigen geen algemene uitspraken over nauwkeurigheid.
| Metriek | Definitie | Gepubliceerde meting |
|---|---|---|
| Dekking van antwoorden | A / N | Niet gemeten |
| Nauwkeurigheid bij beantwoorde gevallen | C / A; niet gedefinieerd als A = 0 | Niet gemeten |
| Foutpercentage bij beantwoorde gevallen | W / A; niet gedefinieerd als A = 0 | Niet gemeten |
| Juiste antwoorden over alle in aanmerking komende gevallen | C / N; presenteer dit niet als nauwkeurigheid bij beantwoorde gevallen | Niet gemeten |
| Aandeel onbekende resultaten | U / N; dubbelzinnigheid kan als deelverzameling van U worden gerapporteerd | Niet gemeten |
| Aandeel operationele fouten | E / N; splits de fouten bovendien uit naar stabiele foutcode | Niet gemeten |
| Kalibratie | Vergelijk scorebereiken met de waargenomen juistheid, apart voor observed_frequency en model_reported; vermeld de indeling in bereiken, het aantal gevallen en de onzekerheid | Niet gemeten |
Wat een reproduceerbare evaluatie moet bevatten
Maak geen referentielabels door een andere dienst voor geslachtsbepaling op basis van namen om zijn voorspellingen te vragen. Zonder een geschikte onafhankelijke referentie meet zo'n vergelijking overeenstemming en geen geverifieerde nauwkeurigheid. Als de referentielabels niet aansluiten op de binaire uitkomsten van de API, beschrijf die beperking en de reikwijdte van de evaluatie dan in plaats van de labels van personen aan de API aan te passen.
| Onderdeel | Vereiste informatie | Huidig openbaar bewijs |
|---|---|---|
| Referentiepopulatie | Herkomst van de referentielabels en het recht om ze te gebruiken; criteria voor opname en uitsluiting, steekproefprocedure, ontdubbeling en definities van de segmenten | Hier is geen gecontroleerde referentiedataset gepubliceerd |
| Scheiding van de brongegevens | Controle op overlap en datalekken; scheiding tussen testgegevens uit de ontwikkeling en een onafhankelijke, apart gehouden evaluatie | Hier is geen rapport gepubliceerd dat de scheiding bevestigt |
| Versie en uitvoering | Datum van uitvoering, exacte versie van de API, momentopname van de dataset, versie van het model of de aanbieder als AI wordt gebruikt, prompts en instellingen van de verzoeken | Hier is geen versie van een uitgevoerde evaluatie gepubliceerd |
| Resultaten | N, C, W, U, E, aantal gevallen per segment, betrouwbaarheidsintervallen en kalibratieanalyse | Hier zijn geen gemeten prestatiewaarden gepubliceerd |
| Reproductie en beoordeling | Evaluatiecode, reproduceerbare geaggregeerde resultaten, bekende beperkingen en een bij naam genoemde persoon of een team dat verantwoordelijk is voor de beoordeling | Alleen een protocol; geen afgeronde onafhankelijke evaluatie |
Het resultaat gebruiken binnen de grenzen ervan
Koppelingen tussen namen of bijnamen en geslacht verschillen per taal, land en populatie. Een teruggegeven label kan de genderidentiteit van een persoon niet vaststellen. Bewaar onbekende resultaten en laat wat de persoon zelf opgeeft voorgaan. Gebruik een afgeleid geslacht niet als basis voor beslissingen met belangrijke gevolgen voor een persoon.
Wijzigingsgeschiedenis
| Datum | Versie van het document | Wijziging |
|---|---|---|
| 2026-09-28 | 1.0.0 | Nederlandse versie van de soorten betrouwbaarheidsscores van V2, de bronnen van resultaten, onbekende resultaten en de noemers van de evaluatie. Er is geen nieuwe nauwkeurigheidswaarde gepubliceerd. |