Trạng thái bằng chứng
Trang này không báo cáo độ chính xác được đo
Nó định nghĩa các quy trình và thông tin minh bạch cần thiết cho một đánh giá trong tương lai. Hiện tại, không có tập dữ liệu thử nghiệm, kích thước mẫu, ngày đánh giá, khoảng tin cậy hay giá trị hiệu suất được đo được công bố.
Nguyên lý đo lường
Độ chính xác không chỉ là một con số nổi bật
Một đánh giá hữu ích tách biệt việc một kết quả có sẵn hay không với việc kết quả đó có chính xác hay không. Nó ghi nhận sự không chắc chắn và kiểm tra các đoạn có ý nghĩa thay vì che giấu sự biến động trong một điểm tổng hợp duy nhất.
Đánh giá độc lập
Mô tả nhóm đối tượng đánh giá phù hợp một cách độc lập so với nhóm dữ liệu huấn luyện.
Lấy mẫu được ghi chép
Ghi rõ quy trình chọn lọc, các trường hợp loại trừ, xử lý trùng lặp, cân bằng trọng số và các nguy cơ thiên lệch trong lấy mẫu.
Các biện pháp kiểm soát rò rỉ
Ghi nhận các biện pháp kiểm soát hiện tượng rò rỉ và chứng minh rằng các bản ghi đánh giá không được sử dụng để huấn luyện.
Hợp đồng báo cáo đề xuất
Các chỉ số yêu cầu bởi khung này
Mỗi chỉ số trả lời một câu hỏi khác nhau. Không chỉ số nào đã được đo lường để công bố; các giá trị cần một bản sao dữ liệu có thời gian cụ thể, mẫu được ghi chép và sự chấp thuận của người kiểm duyệt.
Độ bao phủ được biết đến
Tỷ lệ các đầu vào phù hợp mà dịch vụ trả về một suy luận được hỗ trợ.
Độ chính xác trên các trường hợp được biết đến
Các kết quả đúng được đo chỉ trên các đầu vào có suy luận được hỗ trợ.
Độ chính xác điều chỉnh theo độ bao phủ
Một tầm nhìn tổng hợp về khả năng cung cấp kết quả và độ chính xác trên các kết quả đã biết.
Tỷ lệ không biết
Các đầu vào mà dịch vụ không trả về bất kỳ suy luận nào được hỗ trợ.
Tỷ lệ mơ hồ
Các đầu vào có các tín hiệu đối lập hoặc không đủ khác biệt.
Sai số điều chỉnh
Sự chênh lệch giữa các khoảng xác suất dự đoán và kết quả quan sát được.
Bản chất có thể tái tạo được
Quy trình đánh giá
- 1
Xác định đối tượng nghiên cứu
Xác định tiêu chí đủ điều kiện, các trường hợp loại trừ, bối cảnh quốc gia, hệ thống viết, và quy tắc loại bỏ trùng lặp trước khi đánh giá.
- 2
Bảo quản trạng thái dữ liệu tại thời điểm cụ thể
Ghi lại dữ liệu đã được đánh giá và tách biệt các bản ghi đánh giá khỏi các đầu vào huấn luyện.
- 3
Đo lường theo đoạn
Báo cáo kích thước mẫu và tất cả sáu chỉ số tổng thể, cũng như cho các đoạn quốc gia và hệ thống viết phù hợp.
- 4
Kiểm tra và công bố
Hạn chế tài liệu, việc calibrating, ngày đánh giá, phiên bản và chữ ký phê duyệt kết quả.
Sử dụng phù hợp
Suy luận không phải là bản chất
Suy luận dựa trên tên là xác suất. Nó không thể xác định được giới tính của một cá nhân và không được sử dụng để ra quyết định có hệ lụy đối với cá nhân đó.
- Không sử dụng giới tính suy luận để đưa ra quyết định có ảnh hưởng đến cá nhân.
- Bảo tồn các kết quả chưa biết và mơ hồ thay vì ép buộc ra một kết quả.
Kết quả chưa biết
Xác định trường hợp dịch vụ trả về kết quả không hỗ trợ và báo cáo kết quả này riêng biệt.
Kết quả mơ hồ
Xác định các kết quả đối lập hoặc có độ tin cậy thấp mà không ép buộc chúng vào một kết quả thành công nhị phân.
Sự biến đổi theo nhóm
Hiệu suất tổng thể có thể che giấu sự khác biệt giữa các quốc gia, ngôn ngữ viết và các đầu vào mơ hồ.
Calibration
So sánh khoảng xác suất dự đoán với kết quả thực tế cho từng nhóm đối tượng phù hợp.