Dokümantasyon durumu
Bu sayfa ölçülen doğruluk değerini raporlamaz
Gelecek değerlendirme için protokol ve açıklamaları tanımlar. Şu anda test veri kümesi, örnek boyutu, değerlendirme tarihi, güven aralığı veya ölçülen performans değeri yayınlanmamıştır.
Ölçüm ilkeleri
Doğruluk tek bir sayıdan ibaret değildir
Yararlı bir değerlendirme, sonucun bulunabilirliği ile bulunan sonucun doğruluğunu ayrı ayrı ölçer. Belirsizliği korur ve farklılıkları tek bir toplam puanın içinde gizlemek yerine anlamlı segmentleri inceler.
Bağımsız değerlendirme
Uygun değerlendirme evrenini eğitim verilerinden bağımsız olarak tanımlayın.
Belgelenmiş örnek alma
Seçim yöntemini, hariç tutmaları, yinelenen kayıtların kaldırılmasını, ağırlıklandırmayı ve olası örneklem yanlılığını belgeleyin.
Sızma kontrolü
Veri sızıntısını önleyen kontrolleri kaydedin ve değerlendirme kayıtlarının eğitim amacıyla kullanılmadığını doğrulayın.
Önerilen raporlama sözleşmesi
Bu çerçevenin gerektirdiği metrikler
Her metrik farklı bir soruyu yanıtlar. Henüz yayımlanmış bir ölçüm yoktur; değerlerin yayımlanması için tarihli bir veri seti anlık görüntüsü, belgelenmiş örneklem ve inceleme onayı gerekir.
Bilinen sonuç kapsamı
Hizmetin desteklenen bir tahmin döndürdüğü uygun girdilerin oranı.
Bilinen doğruluk
Yalnızca desteklenen bir tahmin bulunan girdiler arasındaki doğru sonuçların oranı.
Kapsamla düzeltilmiş doğruluk
Sonuç bulunabilirliğini ve bilinen sonuçlardaki doğruluğu birlikte gösteren ölçüm.
Bilinmeyen oran
Hizmetin desteklenen bir tahmin döndüremediği girdilerin oranı.
Belirsiz sonuç oranı
Birbiriyle çelişen veya yeterince ayırt edici olmayan sinyallere sahip girdilerin oranı.
Kalibrasyon hatası
Tahmin edilen olasılık aralıkları ile gözlemlenen sonuçlar arasındaki fark.
Yapısal olarak yeniden üretilebilir
Değerlendirme süreci
- 1
Değerlendirme evrenini tanımla
Değerlendirmeden önce uygunluk ölçütlerini, hariç tutmaları, ülke bağlamını, yazı sistemlerini ve yinelenen kayıtların nasıl ele alınacağını belirle.
- 2
Veri seti anlık görüntüsünü dondur
Değerlendirilen veri setini kaydet ve değerlendirme kayıtlarını eğitim girdilerinden ayırt et.
- 3
Segmentlere göre ölç
Örneklem büyüklüğünü ve altı metriğin tamamını hem genel düzeyde hem de uygun ülke ve yazı sistemi segmentleri için raporla.
- 4
İncele ve yayımla
Sınırlılıkları, kalibrasyonu, değerlendirme tarihini ve sürümü belgele; sonuçları inceleme onayından sonra yayımla.
Sorumlu kullanım
Tahmin, kimlik değildir
İsim temelli tahmin olasılıksaldır. Bir kişinin cinsiyet kimliğini belirleyemez ve birey hakkında önemli sonuçlar doğuran kararlar için kullanılmamalıdır.
- Tahmin edilen cinsiyeti bir kişi hakkında önemli sonuçlar doğuran kararlar için kullanmayın.
- Bir sonuç üretmeye zorlamak yerine bilinmeyen ve belirsiz sonuçları koruyun.
Bilinmeyen sonuçlar
Hizmetin hangi koşullarda desteklenen bir tahmin döndüremediğini tanımlayın ve bu sonucu ayrı olarak raporlayın.
Belirsiz sonuçlar
Birbiriyle çelişen veya düşük güvenli sonuçları ikili bir başarı sonucuna zorlamadan tanımlayın.
Segment farklılıkları
Toplu performans değerleri ülkeler, yazı sistemleri ve belirsiz girdiler arasındaki farklılıkları gizleyebilir.
Kalibrasyon
Her uygun segment için tahmin edilen olasılık aralıklarını gözlemlenen sonuçlarla karşılaştırın.