Tiedon perustelu
Tämä sivu ei ilmoita mittaus- tai tarkkuusarvoja
Se määrittelee protokollan ja julkistamisen vaatimukset tulevaa arviointia varten. Tällä hetkellä ei julkaista testidatan, otantajoukon koko, arviointipäivää, luottamustasoa tai mitattua suoritusarvoa.
Mittausperiaatteet
Tarkkuus on enemmän kuin yksi yleisesti tunnettu luku
Käytännöllinen arviointi erottaa tuloksen saatavuuden siitä, onko se oikein. Se kirjoittaa epävarmuutta ja tarkastelee merkityksellisiä osia, eikä piirrä vaihtelua yhdeksi yhteisestä arvoksi.
Erikoistunut arviointi
Kuvaile kelpoisia arviointipopulaatioita riippumatta trainin populaatiosta.
Dokumentoitua otantaa
Kuvaile valintaa, poistamisia, duplikaattien poistamista, painoja ja mahdollista otanta-vaikutusta.
Väärinkäytön ohjaukset
Tallenna leviämisen ohjaukset ja todista, että arviointikirjaukset ei käytetty traininnä.
Ehdotettu raportointikirja
Tämän raamistokehyksen vaatimukset
Jokainen metri vastaa eri kysymystä. Mitään ei vielä mitattu julkistamiseen; arvot vaativat päivämäärän perusteella otettua tietokantataulukkoa, dokumentoitua otantaa ja arvioijan hyväksyntää.
Tunnettu kattavuus
Elävien syötteiden osuus, jossa palvelu palauttaa tuettua päätelmää.
Tarkkuus tunnetussa
Oikeat tulokset mitattu vain syötteiden joukossa, joissa palvelu palauttaa tuettua päätelmää.
Kattavuus-ajastettu tarkkuus
Tietojen saatavuuden ja tarkkuuden yhdistelmä tunnetuissa tuloksissa.
Tuntematon määrä
Syötteet, joissa palvelu ei palauta tuettua päätelmää.
Epävarmuusmäärä
Syötteet, joissa on yhtäältä vastakohtaisia tai riittävästi erillisiä signaaleja.
Kalibrointivirhe
Kuljetusmahdollisuuden ja havaitun tuloksen välillä oleva ero.
Toistettavissa suunnitelmalla
Arviointiprosessi
- 1
Määritä populaatio
Aseta kelpoisuus, poistot, maan konteksti, kirjoitusjärjestelmät ja duplikaatien poistot arviointiin ennen arviointia.
- 2
Tee datasetin näkymän kiinnittäminen
Tallenna arvioidun datasetin ja pidä arviointikirjaukset erillään trainointidatasta.
- 3
Arvioi segmentin mukaan
Ilmoita otantajoukon koko ja kaikki kuusi metriikkaa yhteensä sekä kelpoille maalle ja kirjoitusjärjestelmille.
- 4
Tarkista ja julkista
Dokumentin rajoitukset, kalibrointi, arviointipäivä, versio ja arvioitsijan hyväksyntä tuloksilla.
Vastuullinen käyttö
Arviointi ei ole identiteetti
Nimen perusteella tehty arviointi on todennäköisyysperäinen. Se ei voi määrittää henkilön sukupuolta ja ei saa käytetä päätöksissä, jotka vaikuttavat henkilöön.
- Ei käytetä arvioitua sukua konsekvanssia henkilön kohtaan.
- Pidä tuntemattomia ja epämääräisiä tuloksia säilyttämällä eikä pakota tulosta.
Tuntematon tuloksena
Määritä, kun palvelu ei palauta tuettua arviointia, ja ilmoita tämä tuloksena erillisenä.
Epäselvät tulokset
Määritä yhtäaikaisia tai alhaisen luotettavuuden tuloksia ilman, että ne pakotetaan binääriä onnistumiseen.
Segmentin vaihtelu
Yhteenvetoprosessi piirtää eroja maissa, kirjoituskielissä ja epämääräisissä syötteissä.
Calibration
Vertaa ennustettuja todennäköisyyden alueita havaittuun tulokseen jokaiselle kelpoiselle segmentille.