Co vám může říct hodnota spolehlivosti?
Hodnota spolehlivosti ve V2 popisuje podklady jednoho odhadu. Neměří přesnost celé služby a neurčuje genderovou identitu osoby. Hodnotu confidence čtěte spolu s confidence_kind, source a sample_count.
Tato stránka vysvětluje současnou specifikaci odpovědí V2 a navrhovaný protokol hodnocení. Testy shody se specifikací ověřují chování odpovědí; nejsou studií přesnosti s nezávisle označenými příklady. Datum kontroly stránky není datem měření přesnosti.
Samostatný profil databáze, pozorovaný 26. září 2026, uvádí počty dokumentů podle metadat kolekcí a číselnou konzistenci v 5 000 náhodně vybraných záznamech z každé kolekce. Tyto kontroly neporovnávají odhady s nezávislými referenčními označeními, a proto neposkytují žádné procento přesnosti.
Dva druhy spolehlivosti se dvěma významy
Pouze ilustrativní výpočet: pokud vybraný řádek ukládá male = 90, female = 10 a total = 100, je jeho confidence 0,9. Tyto smyšlené počty nejsou měřením GenderAPI.io a neznamenají, že se 90 % lidí s tímto jménem identifikuje jako muži.
Uložené počty zde nejsou zveřejněny jako nezávislá, reprezentativní pozorování. Hodnota z AI není kalibrována vůči těmto počtům. Oba druhy neporovnávejte jako zaměnitelné pravděpodobnosti a nepoužívejte univerzální práh spolehlivosti bez hodnocení pro váš vlastní případ použití.
| Pole odpovědi | Výsledek z datové sady | Výsledek z AI |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency, pokud je vráceno pohlaví | model_reported, pokud je vráceno pohlaví |
confidence | max(uložený počet male, uložený počet female) / uložený total, pokud je vráceno pohlaví; null při přesně stejném počtu | Hodnota uvedená modelem, větší než 0,5 a nejvýše 1, pokud je vráceno pohlaví; jinak null |
sample_count | Celkový počet uložený ve vybraném řádku; nejde o velikost vzorku pro hodnocení | null; velikost vzorku z datové sady se neuvádí |
match | Vybraný kandidát, metoda shody a to, zda je rozsah pro konkrétní zemi, nebo globální | method je model_inference; name, scope a country jsou null |
Neznámé a nejednoznačné výsledky a neúspěšné požadavky
Výsledek z datové sady nemá univerzální práh, pod kterým by se nízká spolehlivost odmítla. Validace odpovědi AI vyžaduje, aby hodnota jiná než null byla větší než 0,5; jde o podmínku specifikace, nikoli o důkaz kvality odhadu. Zachovejte null, místo abyste ho převedli na spolehlivost 0 nebo na odhadnutou kategorii.
| Výsledek | Chování ve V2 | Zpracování při hodnocení |
|---|---|---|
| Určeno | result_status je identified a gender je male nebo female | Porovnejte s referenčním označením a započítejte případ jako zodpovězený |
| Neznámé | gender a confidence jsou null; result_status je unknown | Ponechte případ ve vzorku relevantních případů a počítejte ho odděleně od chybného odhadu |
| Nejednoznačný řádek datové sady | Stejný uložený počet male a female vede v režimu pouze s datovou sadou k reason: ambiguous; fallback může tento výsledek nahradit výsledkem z AI | Zaznamenejte konečný výsledek a zvolený režim AI; nejednoznačnost nepočítejte jako další výsledek |
| Nedostatečné podklady pro AI | Neznámý výsledek z AI má source: ai a reason: insufficient_evidence | Počítejte ho jako neznámý; platná odpověď JSON nedokazuje, že je výsledek správný |
| Chyba požadavku nebo položky | Chyby HTTP a chyby jednotlivých položek dávky jsou provozní výsledky, nikoli označení pohlaví | Selhání uvádějte zvlášť; místo tichého vynechání zveřejněte jejich počet a jmenovatel |
Měřte konfiguraci, kterou skutečně používáte
- Vstupy typu jméno, e-mailová adresa a uživatelské jméno hodnoťte odděleně. Postupy s e-mailovými adresami a uživatelskými jmény zahrnují získávání kandidátů, takže studie pouze se jmény neměří, jak funguje celý postup.
- Hodnoty ai_mode off, fallback a always hodnoťte odděleně. Bez forceToGenderize používají jednotlivé požadavky ve výchozím nastavení fallback a dávky off. Fallback nejprve zkusí datovou sadu, a pokud nevrátí pohlaví, zeptá se AI. Souhrnné skóre může skrýt rozdíly mezi výsledky z datové sady a z AI.
- forceToGenderize hodnoťte samostatně pro všechny podporované typy vstupu. Tato možnost může odvodit přiřazení z přezdívky, i když je name null; alias není důkazem identity vlastníka účtu.
- Zaznamenejte, zda byl uveden parametr country. Řádky pro konkrétní zemi mají u každého kandidáta přednost, pokud existují, jinak se použije globální vyhledávání; z match.scope a match.country zjistíte, které podklady byly vybrány.
- Výsledky uvádějte podle kontextu země, písma a typu vstupu, s počtem případů v každém segmentu. Regionální přiřazení není státní příslušnost ani bydliště.
- Případný práh spolehlivosti pro aplikaci stanovte dříve, než změříte samostatný testovací vzorek. Uveďte surový výsledek API i odpovědi, které práh zadrží, a to zvlášť pro každé confidence_kind.
Definice metrik a jmenovatelů
V plánovaném hodnocení je N počet relevantních případů s referenčním označením. A = C + W je počet případů se zodpovězeným pohlavím: C správných a W chybných. U jsou neznámé výsledky a E provozní chyby po uplatnění předem stanoveného pravidla spouštění. Při jednom konečném výsledku na případ platí N = C + W + U + E. Tyto počty zveřejněte dříve než procenta.
Při N = 0 nejsou tyto podíly pro populaci definovány. Nedefinovaný podíl nezveřejňujte jako 0 %. Uveďte intervaly nejistoty a metodu jejich výpočtu; malé nebo nereprezentativní segmenty nemohou podložit obecná tvrzení o přesnosti.
| Metrika | Definice | Zveřejněné měření |
|---|---|---|
| Pokrytí odpovědí | A / N | Neměřeno |
| Přesnost u zodpovězených případů | C / A; nedefinováno, pokud A = 0 | Neměřeno |
| Míra chyb u zodpovězených případů | W / A; nedefinováno, pokud A = 0 | Neměřeno |
| Správné odpovědi ze všech relevantních případů | C / N; neoznačujte to jako přesnost u zodpovězených případů | Neměřeno |
| Podíl neznámých výsledků | U / N; nejednoznačnost lze uvádět jako podmnožinu U | Neměřeno |
| Podíl provozních chyb | E / N; chyby rozdělte také podle stabilního kódu chyby | Neměřeno |
| Kalibrace | Porovnejte pásma hodnot s pozorovanou správností, zvlášť pro observed_frequency a model_reported; uveďte rozdělení do pásem, počty a nejistotu | Neměřeno |
Co musí obsahovat reprodukovatelné hodnocení
Referenční označení nevytvářejte tak, že se zeptáte jiné služby pro odhad podle jmen na její odhady. Takové srovnání měří shodu, nikoli ověřenou přesnost, pokud není k dispozici vhodný nezávislý referenční zdroj. Pokud referenční označení neodpovídají binárnímu výstupu API, zdokumentujte toto omezení a rozsah hodnocení, místo abyste lidem přiřadili nová označení, aby odpovídala API.
| Součást | Požadované údaje | Současné veřejné podklady |
|---|---|---|
| Referenční populace | Původ referenčních označení a oprávnění je používat; kritéria zařazení a vyloučení, metoda výběru vzorku, odstranění duplicit a definice segmentů | Žádná zkontrolovaná referenční datová sada zde není zveřejněna |
| Oddělení od zdrojových dat | Kontrola překryvu a úniku dat; rozlišení testovacích dat z vývoje a nezávislého samostatného hodnocení | Žádná ověřená zpráva o oddělení zde není zveřejněna |
| Verze a provedení | Datum provedení, přesná verze API, snímek datové sady, verze modelu nebo poskytovatele při použití AI, pokyny pro model a nastavení požadavků | Žádná verze provedeného hodnocení zde není zveřejněna |
| Výsledky | N, C, W, U, E, počty podle segmentů, intervaly spolehlivosti a analýza kalibrace | Žádné naměřené hodnoty výkonu zde nejsou zveřejněny |
| Reprodukce a kontrola | Kód hodnocení, reprodukovatelné souhrnné výsledky, známá omezení a identifikovatelná odpovědnost za kontrolu | Pouze protokol; žádná dokončená nezávislá kontrola měření |
Používejte výsledek v rámci jeho omezení
Přiřazení jmen nebo aliasů k pohlaví se liší podle jazyka, země a populace. Vrácené označení nemůže určit genderovou identitu osoby. Zachovejte neznámé výsledky a přednost dejte údajům, které poskytla sama osoba. Odvozené pohlaví nepoužívejte jako podklad pro rozhodnutí se závažnými důsledky pro jednotlivce.
Historie změn
| Datum | Verze dokumentu | Změna |
|---|---|---|
| 2026-09-30 | 1.0.0 | Česká verze druhů spolehlivosti ve V2, zdrojů výsledků, neznámých výsledků a jmenovatelů hodnocení. Nezveřejňuje se žádný nový výsledek přesnosti. |