Mitä luottamusarvo voi kertoa?
V2:n luottamusarvo kuvaa yhden ennusteen perusteita. Se ei mittaa koko palvelun tarkkuutta eikä määritä henkilön sukupuoli-identiteettiä. Lue confidence yhdessä kenttien confidence_kind, source ja sample_count kanssa.
Tämä sivu selittää V2:n nykyisen vastausmäärittelyn ja ehdotetun arviointiprotokollan. Määrittelytestit tarkistavat vastausten toiminnan; ne eivät ole tarkkuustutkimus, jossa käytetään riippumattomasti luokiteltuja esimerkkejä. Sivun tarkistuspäivä ei ole tarkkuusmittauksen päivämäärä.
Erillinen tietokantaprofiili, joka havainnoitiin 26. syyskuuta 2026, raportoi kokoelmien metatietojen mukaiset dokumenttimäärät ja numeerisen johdonmukaisuuden 5 000 satunnaisesti valitussa tietueessa kokoelmaa kohden. Nämä tarkistukset eivät vertaa ennusteita riippumattomiin viiteluokituksiin, joten ne eivät anna tarkkuusprosenttia.
Kaksi luottamusarvon tyyppiä, kaksi merkitystä
Havainnollistava laskuesimerkki: jos valitussa rivissä on tallennettuna male = 90, female = 10 ja total = 100, confidence on 0,9. Nämä keksityt luvut eivät ole GenderAPI.io:n mittaustulos eivätkä tarkoita, että 90 % tämännimisistä henkilöistä identifioituu miehiksi.
Tallennettuja määriä ei julkaista tässä riippumattomina, edustavina havaintoina. Tekoälyn antamaa arvoa ei ole kalibroitu näitä määriä vastaan. Älä vertaa kahta tyyppiä toisiaan vastaavina todennäköisyyksinä äläkä käytä yleistä luottamusarvon kynnystä ilman omaa käyttötapaustasi koskevaa arviointia.
| Vastauskenttä | Tulos tietoaineistosta | Tulos tekoälyltä |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency, kun sukupuoli palautetaan | model_reported, kun sukupuoli palautetaan |
confidence | max(tallennettu male-määrä, tallennettu female-määrä) / tallennettu total, kun sukupuoli palautetaan; null, jos määrät ovat täsmälleen yhtä suuret | Mallin ilmoittama arvo, joka on suurempi kuin 0,5 ja enintään 1, kun sukupuoli palautetaan; muuten null |
sample_count | Valittuun riviin tallennettu kokonaismäärä; ei arviointiotoksen koko | null; tietoaineiston otoskokoa ei ilmoiteta |
match | Valittu ehdokas, osumamenetelmä ja se, onko laajuus maakohtainen vai globaali | method on model_inference; name, scope ja country ovat null |
Tuntemattomat ja monitulkintaiset tulokset sekä epäonnistuneet pyynnöt
Tietoaineiston tuloksella ei ole yleistä kynnystä, jonka alittava luottamusarvo hylättäisiin. Tekoälyvastauksen validointi edellyttää, että muu kuin null-arvo on suurempi kuin 0,5; se on määrittelyn ehto eikä todiste ennusteen laadusta. Säilytä null sen sijaan, että muuttaisit sen luottamusarvoksi 0 tai arvatuksi luokaksi.
| Lopputulos | Toiminta V2:ssa | Käsittely arvioinnissa |
|---|---|---|
| Tunnistettu | result_status on identified, ja gender on male tai female | Vertaa viiteluokitukseen ja laske tapaus vastatuksi |
| Tuntematon | gender ja confidence ovat null; result_status on unknown | Pidä tapaus kelpoisten tapausten otoksessa ja laske se erikseen väärästä ennusteesta |
| Monitulkintainen rivi tietoaineistossa | Yhtä suuret tallennetut male- ja female-määrät tuottavat tuloksen reason: ambiguous tilassa, jossa käytetään vain tietoaineistoa; fallback voi korvata tämän lopputuloksen tekoälyn tuloksella | Kirjaa lopullinen lopputulos ja valittu tekoälytila; älä laske monitulkintaisuutta ylimääräiseksi lopputulokseksi |
| Tekoälyllä ei riittäviä perusteita | Tekoälyn tuntemattomalla tuloksella on source: ai ja reason: insufficient_evidence | Laske tuntemattomaksi; kelvollinen JSON-vastaus ei todista tuloksen oikeellisuutta |
| Pyynnön tai kohteen virhe | HTTP-virheet ja eräpyynnön kohdekohtaiset virheet ovat toiminnallisia lopputuloksia eivätkä sukupuoliluokituksia | Raportoi virheet erikseen; julkaise niiden määrä ja nimittäjä sen sijaan, että jättäisit ne huomaamatta pois |
Mittaa kokoonpanoa, jota todella käytät
- Pidä nimi-, sähköpostiosoite- ja käyttäjänimisyötteet erillään. Sähköpostiosoitteita ja käyttäjänimiä käsittelevät työnkulut sisältävät ehdokkaiden poiminnan, joten pelkkiä nimiä koskeva tutkimus ei mittaa koko työnkulun toimintaa.
- Pidä ai_mode-arvot off, fallback ja always erillään. Ilman forceToGenderize-asetusta yksittäisten pyyntöjen oletus on fallback ja eräpyyntöjen oletus off. Fallback kokeilee ensin tietoaineistoa ja kysyy tekoälyltä, jos sukupuolta ei palaudu. Yhdistetty pistemäärä voi peittää tietoaineiston ja tekoälyn tulosten väliset erot.
- Arvioi forceToGenderize erikseen kaikille tuetuille syötetyypeille. Asetus voi päätellä yhteyden lempinimestä myös silloin, kun name on null; alias ei todista tilin omistajan henkilöllisyyttä.
- Kirjaa, annettiinko country. Maakohtaisia rivejä suositaan kunkin ehdokkaan kohdalla, kun niitä on, ja muuten käytetään globaalia hakua; tarkista match.scope ja match.country nähdäksesi, mitkä perusteet valittiin.
- Raportoi tulokset maakontekstin, kirjoitusjärjestelmän ja syötetyypin mukaan sekä kunkin segmentin tapausten määrä. Alueellinen yhteys ei ole kansalaisuus eikä asuinpaikka.
- Päätä sovelluksen mahdollinen luottamusarvon kynnys ennen erillisen testiotoksen mittaamista. Raportoi sekä API:n raaka tulos että kynnyksen vuoksi pidätetyt vastaukset, erikseen kullekin confidence_kind-arvolle.
Mittareiden määritelmät ja nimittäjät
Suunnitellussa arvioinnissa N on kelpoisten, viiteluokituksen sisältävien tapausten määrä. A = C + W on niiden tapausten määrä, joihin on vastattu sukupuolella: C oikein ja W väärin. U on tuntemattomat tulokset ja E toiminnalliset virheet ennalta määritetyn suoritussäännön soveltamisen jälkeen. Kun jokaisella tapauksella on yksi lopullinen lopputulos, N = C + W + U + E. Julkaise nämä määrät ennen prosentteja.
Kun N = 0, nämä perusjoukon osuudet eivät ole määriteltyjä. Älä julkaise määrittelemätöntä osuutta arvona 0 %. Ilmoita epävarmuusvälit ja niiden laskemiseen käytetty menetelmä; pienet tai heikosti edustavat segmentit eivät voi tukea laajoja väitteitä tarkkuudesta.
| Mittari | Määritelmä | Julkaistu mittaus |
|---|---|---|
| Vastauskattavuus | A / N | Ei mitattu |
| Tarkkuus vastatuissa tapauksissa | C / A; ei määritelty, jos A = 0 | Ei mitattu |
| Virheosuus vastatuissa tapauksissa | W / A; ei määritelty, jos A = 0 | Ei mitattu |
| Oikeat vastaukset kaikista kelpoisista tapauksista | C / N; älä kutsu tätä vastattujen tapausten tarkkuudeksi | Ei mitattu |
| Tuntemattomien tulosten osuus | U / N; monitulkintaisuus voidaan raportoida U:n osajoukkona | Ei mitattu |
| Toiminnallisten virheiden osuus | E / N; eritele virheet myös pysyvän virhekoodin mukaan | Ei mitattu |
| Kalibrointi | Vertaa arvoväliä havaittuun oikeellisuuteen erikseen arvoille observed_frequency ja model_reported; ilmoita välien jako, määrät ja epävarmuus | Ei mitattu |
Mitä toistettavan arvioinnin on sisällettävä
Älä luo viiteluokituksia pyytämällä toiselta nimiin perustuvia ennusteita tekevältä palvelulta sen arvauksia. Tällainen vertailu mittaa yhtäpitävyyttä eikä vahvistettua tarkkuutta, ellei käytettävissä ole sopivaa riippumatonta viitettä. Jos viiteluokitukset eivät vastaa API:n kaksiarvoista vastausta, dokumentoi tämä rajoitus ja arvioinnin laajuus sen sijaan, että luokittelisit henkilöitä uudelleen API:hin sopiviksi.
| Osa | Vaaditut tiedot | Nykyiset julkiset perusteet |
|---|---|---|
| Viiteperusjoukko | Viiteluokitusten alkuperä ja oikeus niiden käyttöön; mukaanotto- ja poissulkukriteerit, otantamenetelmä, kaksoiskappaleiden poisto ja segmenttien määritelmät | Tarkistettua viiteaineistoa ei ole julkaistu tässä |
| Erottelu lähdedatasta | Päällekkäisyyden ja vuotojen tarkistus; kehityksen testidatan erottaminen riippumattomasta, erillisestä arvioinnista | Vahvistettua raporttia erottelusta ei ole julkaistu tässä |
| Versio ja suoritus | Suorituspäivä, tarkka API-versio, tietoaineiston tilannevedos, mallin tai palveluntarjoajan versio tekoälyä käytettäessä, kehotteet ja pyyntöjen asetukset | Suoritetun arvioinnin versiota ei ole julkaistu tässä |
| Tulokset | N, C, W, U, E, segmenttikohtaiset määrät, luottamusvälit ja kalibrointianalyysi | Mitattuja suorituskykyarvoja ei ole julkaistu tässä |
| Toistettavuus ja tarkistus | Arviointikoodi, toistettavat kootut tulokset, tunnetut rajoitukset ja tunnistettava vastuu tarkistuksesta | Vain protokolla; valmista riippumatonta mittauksen tarkistusta ei ole |
Käytä tulosta sen rajoissa
Nimien ja aliasten yhteydet sukupuoleen vaihtelevat kielten, maiden ja perusjoukkojen välillä. Palautettu luokka ei voi määrittää henkilön sukupuoli-identiteettiä. Säilytä tuntemattomat tulokset ja anna henkilön itse ilmoittamien tietojen mennä edelle. Älä käytä pääteltyä sukupuolta perusteena yksilöä koskeville merkittäville päätöksille.
Muutoshistoria
| Päivämäärä | Dokumentin versio | Muutos |
|---|---|---|
| 2026-09-30 | 1.0.0 | Suomenkielinen versio V2:n luottamusarvon tyypeistä, tulosten lähteistä, tuntemattomista tuloksista ja arvioinnin nimittäjistä. Uutta tarkkuustulosta ei julkaista. |