Bevisstatus
Denne side rapporterer ikke målepræcision
Det definerer protokol og offentliggørelse, der kræves for en fremtidig vurdering. Ingen testdata, eksempelstørrelse, vurderingsdato, konfidensinterval eller målepræstation er i øjeblikket offentliggjort.
Måleprincipper
Præcision er mere end ét hovedtal
En nyttig evaluering adskiller, om et resultat er tilgængeligt, fra om det er korrekt. Den registrerer usikkerhed og undersøger betydende dele i stedet for at skjule variationen i en enkelt agregatvurdering.
Uafhængig evaluering
Dokumentér den godkendte evalueringssamling uafhængigt af træningspopulationen.
Dokumenteret sampling
Dokumentér valg, udslag, deduplication, vægtning og potentielle samplingforbias.
Leakage-kontroller
Registrer leakagekontroller og bevis for, at evalueringssamlinger ikke blev brugt til træning.
Forslaget rapporteringskontrakt
Metrikker, der er krævet af dette rammeværktøj
Hver metrik svarer på en anden spørgsmål. Ingen er målt til offentliggørelse endnu; værdier kræver en datamoment, en dokumenteret prøve og godkendelse af en revisor.
Kendt omfang
Andelen af gyldige indgange, for hvilke tjenesten returnerer en støttet infere.
Præcision på kendt
Rigtige resultater målt kun over indgange med en støttet infere.
Omfangsjusteret præcision
En kombineret visning af resultaterne med tilgængelighed og nøjagtighed på kendte resultater.
Ukendt andel
Indtastninger, for hvilke tjenesten returnerer ingen støttet inferens.
Ambiguitetsandelen
Indtastninger med konkurrerende eller utilstrækkeligt forskellige signaler.
Kalibreringsfejl
Forskellen mellem forudgående sandsynlighedsbands og observerede resultater.
Reproduceret ved design
Vurderingsprocessen
- 1
Definer den population
Sæt eligibility, udslag, landssammenhæng, skriftsystemer og deduplication-regler før evaluering.
- 2
Fryse datasettet snapshot
Registrer det evaluerede dataset og bevare evalueringsskemaerne skilte fra træningsindgående data.
- 3
Måle ved segment
Udvid samplestørrelsen og alle seks metoder i det hele og for de elige land- og skriftsegmenter.
- 4
Gennemgå og offentliggør
Dokumentets begrænsninger, kalibrering, vurderingsdato, version og godkendelse af resultater af ansvarlig person.
Ansvarig brug
Infere er ikke identitet
Navnbasert infere er sandsynlighedsbaseret. Det kan ikke fastsætte en persons kønsskab og må ikke bruges til konsekvensbaserede beslutninger om en individuel person.
- Brug ikke infere køn i konsekvensfulde beslutninger om en individuel person.
- Bevare ukendte og ambiguitetsresultater i stedet for at kræve et resultat.
Ukendte resultater
Definer, hvornår tjenesten returnerer ingen støttet infere, og rapportér dette resultat separat.
Ambiguitetsresultater
Definer konkurrerende eller lavkonfliktsresultater uden at kræve dem til en binær succesresultat.
Sektors variation
Aggregatperformance kan skjule forskelle mellem lande, skriftformer og ambiguitetsindhold.
Calibration
Sammenlign de forventede sandsynlighedsbands med observerede resultater for hver godkendt segment.