Bevisstatus
Den här sidan rapporterar inte mätad noggrannhet
Det definierar protokollet och uttalanden som krävs för en framtida bedömning. Inget testdata, exempelstorlek, bedömningsdatum, konfidensintervall eller mätbar prestanda värde är nu publicerat.
Mätprinciper
Noggrannhet är mer än ett huvudnummer
En användbar bedömning skiljer mellan om ett resultat är tillgängligt och om det resultatet är korrekt. Den registrerar osäkerhet och undersöker betydelsefulla delar istället för att dölja variationen i en enda sammanfattning.
Oberoende bedömning
Dokumentera den godkända utvärderingspopulationen oberoende av träningspopulationen.
Dokumenterad provtagning
Dokumentera val, utelämnanden, dedupling, vikning och eventuella samplingsbias.
Förlustkontroller
Registrera leakagekontroller och bevisa att utvärderingsdata inte användes för träning.
Förslag om rapporteringsskift
Mått som krävs av denna ramverk
Varje mått svarar på ett annat fråga. Inga har mätts för publicering ännu; värden kräver en datamomentfång, dokumenterad provning och godkännande av granskare.
Känd täckning
Andelen av giltiga indata för vilka tjänsten returnerar en stödd inferens.
Precision på kända
Rätta resultat mätta endast inom indata med stödd inferens.
Täckningjusterad precision
En kombinerad översikt över resultatens tillgänglighet och noggrannhet på kända utgångspunkter.
Okänd andel
Inmatningar för vilka tjänsten returnerar inga stödda inferenser.
Otydlig andel
Inmatningar med konkurrerande eller inte tillräckligt distinkta signaler.
Kalibreringsfel
Förskjutningen mellan förutsägda sannolikhetsintervall och observerade resultat.
Reproducerbar genom design
Betygsprocess
- 1
Definiera populationen
Sätt eligibility, utslag, landsspecifika kontexter, skrivsystem och deduplikationsregler innan utvärdering.
- 2
Frys datasetets snappning
Registrera utvärderat dataset och håll utvärderingsposter separata från träningssamlingar.
- 3
Mäta per segment
Rapportera provstorlek och alla sex metriker sammanlagt samt för giltiga land- och skrivsystemsegment.
- 4
Granska och publicera
Dokumentbegränsningar, kalibrering, utvärderingsdatum, version och granskning av resultat av utvärderaren.
Ansvarsfull användning
Infärning är inte identitet
Namnbasad infärning är sannolik. Den kan inte fastställa en persons könidentitet och får inte användas för konsekvensfulla beslut angående en individ.
- Använd inte infärren kön vid konsekventa beslut om en individ.
- Bevara osäkra och ambigua resultat istället för att kräva ett resultat.
Okända resultat
Definiera när tjänsten returnerar inga stödda inferensresultat och rapportera det separat.
Otydliga resultat
Definiera konkurrerande eller lågkonfidensresultat utan att kräva att de placeras i en binär framgång.
Segmentvarierande resultat
Aggregatprestanda kan dölja skillnader mellan länder, språk och osäkra inmatningar.
Calibration
Jämför förutsägda sannolikhetsintervall med observerade resultat för varje giltig segment.