Bevisstatus
Denne siden rapporterer ikke målt nøyaktighet
Det definerer protokollen og opplysninger som kreves for en fremtidig vurdering. Ingentestdatasett, eksempelstørrelse, vurderingsdato, konfidensintervall eller målt prestandeværdi er nå publisert.
Måleprinsipper
Nøyaktighet er mer enn ett hovednummer
En nyttig evaluering deler opp om en resultat er tilgjengelig fra om resultatet er riktig. Den registrerer usikkerhet og undersøker betydende segmenter istedenfor å skjule variasjon i en enkelt agregatvurdering.
Uavhengig evaluering
Dokumenter den gyldige evaluasjonspopulasjonen separat fra trinnpopulasjonen.
Dokumentert sampling
Dokumenter valg, utelukkninger, deduplisering, vektsetting og potensiell samplingbias.
Leakagekontroller
Registrer lekagekontroller og bevis at evaluasjonsdata ikke ble brukt i trinn.
Forslått rapporteringsavtale
Mål som kreves av dette rammeverket
Hvert mål svarer på et annet spørsmål. Ingent av dem har blitt målt for publisering enda; verdiene krever en datatidssnapp, dokumentert eksempel og godkjenning av en revisor.
Kjent dekkelse
Andelen av gyldige input som tjenesten returnerer en støttet inferens.
Nøyaktighet på kjent data
Riktige resultater målt kun over input med støttet inferens.
Dekkelsesjustert nøyaktighet
En kombinert visning av tilgjengelighet og nøyaktighet på kjente utkomster.
Ukjent rate
Inndata for hvilke tjenesten returnerer ingen støttet inferens.
Utydelig rate
Inndata med konkurrerende eller ikke tilstrekkelig tydelige signaler.
Kalibreringsfeil
Forskjellen mellom forutsagt sannsynlighetsområde og observerte utkomster.
Reproduserbar ved design
Vurderingsprosessen
- 1
Definer populasjonen
Fastsett gyldighet, utelukkninger, landkontekst, skriftsystemer og dedupliseringsspill før evaluering.
- 2
Fryse datasett-snappet
Registrer den evaluerte datasett og behold evalueringsskriver separert fra træningsskriver.
- 3
Måle ved segment
Oppgi utvalgsstørrelse og alle seks metrikker i helhet og for gyldige land- og skriftsegmenter.
- 4
Gjennomgå og publiser
Dokumentbegrensninger, kalibrering, vurderingsdato, versjon og godkjenning av resultatene av revisjon.
Ansvarlig bruk
Inferens er ikke identitet
Navnbasert inferens er sannsynlig. Den kan ikke fastslå en persons kjønnsidentitet og må ikke brukes i konsekvensrike beslutninger om en individuell person.
- Bruk ikke infertet kjønn i konsekvensrike beslutninger om en person.
- Behold ukjente og ambiguiteter i resultatene istedenfor å kravere et resultat.
Ukjente resultater
Definer når tjenesten returnerer ingen støttet inferens og rapporter dette resultatet separat.
Utydelige resultater
Definer konkurranse- eller lavkonfliktsituasjoner uten å kravere dem til en binær suksessresultat.
Segmentvariasjon
Aggregert prestande kan skjule forskjeller mellom land, skript og ambiguitet i input.
Calibration
Sammenlign forutsatt sannsynlighetsintervall med observerte resultater for hver gyldig segment.