Điểm độ tin cậy cho bạn biết điều gì?
Điểm độ tin cậy trong V2 mô tả bằng chứng đằng sau một lần suy luận. Điểm này không đo độ chính xác của toàn bộ dịch vụ và không xác lập bản dạng giới của một người. Hãy đọc confidence cùng với confidence_kind, source và sample_count.
Hướng dẫn này giải thích hợp đồng phản hồi hiện tại của V2 và một quy trình đánh giá được đề xuất. Kiểm thử hợp đồng xác minh hành vi của phản hồi; đó không phải là một nghiên cứu độ chính xác với nhãn tham chiếu độc lập. Ngày cập nhật của trang này cũng không phải ngày đo độ chính xác.
Một hồ sơ cơ sở dữ liệu riêng, được ghi nhận ngày 26 tháng 9, 2026, báo cáo số lượng theo siêu dữ liệu của các collection và tính nhất quán về số liệu trong 5.000 bản ghi được lấy mẫu ngẫu nhiên từ mỗi collection. Các phép kiểm tra này không so sánh kết quả suy luận với nhãn tham chiếu độc lập, nên không cung cấp tỷ lệ phần trăm độ chính xác.
Hai loại độ tin cậy, hai ý nghĩa
Phép tính chỉ mang tính minh họa: nếu dòng được chọn lưu male = 90, female = 10 và total = 100, độ tin cậy là 0.9. Các số lượng giả định này không phải kết quả đo của GenderAPI.io, cũng không phải tuyên bố rằng 90% người mang tên đó tự nhận là nam.
Số lượng đã lưu không được công bố ở đây như những quan sát độc lập và mang tính đại diện. Điểm AI không được hiệu chỉnh theo các số lượng đó. Đừng so sánh hai loại điểm như thể chúng có thể thay thế cho nhau, và đừng dùng một ngưỡng độ tin cậy chung khi chưa đánh giá cho trường hợp sử dụng của bạn.
| Trường phản hồi | Kết quả từ tập dữ liệu | Kết quả từ AI |
|---|---|---|
source | dataset | ai |
confidence_kind | observed_frequency khi có giới tính được trả về | model_reported khi có giới tính được trả về |
confidence | max(male, female) / total theo số lượng đã lưu khi có giới tính được trả về; null khi số lượng bằng nhau tuyệt đối | Điểm do mô hình báo cáo, lớn hơn 0.5 và tối đa là 1 khi có giới tính được trả về; nếu không thì là null |
sample_count | Tổng số đã lưu trong bản ghi được chọn; không phải cỡ mẫu đánh giá | null; không có số lượng mẫu từ tập dữ liệu |
match | Ứng viên tra cứu được chọn, phương thức so khớp và phạm vi quốc gia/toàn cầu | method là model_inference; name, scope và country là null |
Kết quả không xác định, số lượng bằng nhau và yêu cầu thất bại
Kết quả từ tập dữ liệu không có ngưỡng chung để loại bỏ độ tin cậy thấp. Bộ kiểm tra phản hồi AI yêu cầu điểm khác null phải lớn hơn 0.5; đó là một ràng buộc của hợp đồng API, không phải bằng chứng về chất lượng dự đoán. Hãy giữ nguyên null thay vì chuyển thành độ tin cậy bằng 0 hoặc một phỏng đoán nhị phân.
| Kết quả | Hành vi của V2 | Cách xử lý khi đánh giá |
|---|---|---|
| Đã xác định | result_status là identified và gender là male hoặc female | So sánh với nhãn tham chiếu và tính là đã trả lời |
| Không xác định | gender và confidence là null; result_status là unknown | Giữ trong mẫu đủ điều kiện và tính riêng với dự đoán sai |
| Dòng tập dữ liệu có số lượng bằng nhau | Ở chế độ chỉ dùng tập dữ liệu, số lượng male và female đã lưu bằng nhau cho ra reason: ambiguous; chế độ fallback có thể thay kết quả này bằng kết quả AI | Ghi lại kết quả cuối cùng và chế độ AI đã chọn; không tính trùng trường hợp bằng nhau như một kết quả khác |
| Không đủ bằng chứng cho AI | Kết quả AI không xác định dùng source: ai và reason: insufficient_evidence | Tính là không xác định; một phản hồi JSON hợp lệ không chứng minh tính đúng đắn |
| Lỗi yêu cầu hoặc lỗi mục | Lỗi HTTP và lỗi của từng mục trong yêu cầu hàng loạt là kết quả vận hành, không phải nhãn giới tính | Báo cáo lỗi riêng; công bố số lượng và mẫu số thay vì âm thầm loại bỏ |
Đo đúng cấu hình bạn thực sự sử dụng
- Tách riêng đầu vào tên, địa chỉ email và tên người dùng. Quy trình email hoặc tên người dùng có bước trích xuất ứng viên, nên một nghiên cứu chỉ dùng tên không đo được hiệu năng toàn trình của các quy trình đó.
- Tách riêng ai_mode off, fallback và always. Khi không có forceToGenderize, yêu cầu đơn lẻ mặc định là fallback và yêu cầu hàng loạt mặc định là off. Chế độ fallback thử tập dữ liệu trước và hỏi AI nếu không có giới tính được trả về. Một điểm số gộp có thể che giấu khác biệt giữa kết quả từ tập dữ liệu và từ AI.
- Đánh giá forceToGenderize riêng cho mọi loại đầu vào được hỗ trợ. Tùy chọn này có thể suy ra mối liên hệ từ biệt danh ngay cả khi name là null; một bí danh không phải bằng chứng về danh tính của chủ tài khoản.
- Ghi lại việc có gửi country hay không. Với mỗi ứng viên, dòng theo quốc gia được ưu tiên nếu có, còn tra cứu toàn cầu được dùng khi không có dòng đó; hãy kiểm tra match.scope và match.country để biết bằng chứng nào đã được chọn.
- Báo cáo theo ngữ cảnh quốc gia, hệ chữ và loại đầu vào, kèm số trường hợp trong từng nhóm. Mối liên hệ theo khu vực không phải quốc tịch hay nơi cư trú.
- Nếu ứng dụng dùng ngưỡng độ tin cậy, hãy chọn ngưỡng đó trước khi đo trên mẫu được tách riêng để đánh giá. Báo cáo cả kết quả API gốc và các trường hợp ứng dụng không trả lời do ngưỡng đó, riêng cho từng confidence_kind.
Định nghĩa chỉ số và mẫu số
Với một đánh giá được lên kế hoạch, N là số trường hợp đủ điều kiện có nhãn tham chiếu. A = C + W là số trường hợp có giới tính được trả lời: C đúng, W sai. U là không xác định và E là lỗi vận hành sau khi áp dụng chính sách thực thi đã định trước. Khi mỗi trường hợp có một kết quả cuối cùng, N = C + W + U + E. Hãy công bố các số lượng này trước khi công bố tỷ lệ phần trăm.
Khi N = 0, các tỷ lệ này không được định nghĩa. Đừng công bố một tỷ lệ không được định nghĩa là 0%. Hãy nêu khoảng bất định và phương pháp dùng để tính; các nhóm nhỏ hoặc không mang tính đại diện không thể hỗ trợ những tuyên bố rộng về độ chính xác.
| Chỉ số | Định nghĩa | Kết quả đo đã công bố |
|---|---|---|
| Độ bao phủ câu trả lời | A / N | Chưa đo |
| Độ chính xác trên các trường hợp đã trả lời | C / A; không được định nghĩa nếu A = 0 | Chưa đo |
| Tỷ lệ sai trên các trường hợp đã trả lời | W / A; không được định nghĩa nếu A = 0 | Chưa đo |
| Câu trả lời đúng trên toàn bộ trường hợp đủ điều kiện | C / N; không gọi đây là độ chính xác trên các trường hợp đã trả lời | Chưa đo |
| Tỷ lệ không xác định | U / N; trường hợp số lượng bằng nhau có thể được báo cáo như một phần của U | Chưa đo |
| Tỷ lệ lỗi vận hành | E / N; đồng thời phân tích lỗi theo mã lỗi ổn định | Chưa đo |
| Hiệu chỉnh | So sánh các khoảng điểm với tỷ lệ đúng quan sát được, riêng cho observed_frequency và model_reported; công bố cách chia khoảng, số lượng và độ bất định | Chưa đo |
Một đánh giá có thể tái lập phải bao gồm những gì
Đừng tạo nhãn tham chiếu bằng cách lấy phỏng đoán của một dịch vụ suy luận tên khác. Nếu không có nguồn tham chiếu độc lập phù hợp, phép so sánh như vậy chỉ đo mức độ đồng thuận, không phải độ chính xác đã được kiểm chứng. Nếu nhãn tham chiếu không tương ứng với đầu ra nhị phân của API, hãy ghi lại giới hạn đó và phạm vi đánh giá thay vì gán lại nhãn cho con người để khớp với API.
| Hồ sơ | Nội dung cần công bố | Bằng chứng công khai hiện tại |
|---|---|---|
| Tập tham chiếu | Nguồn gốc và quyền sử dụng nhãn tham chiếu; tiêu chí đủ điều kiện, loại trừ, lấy mẫu, loại bỏ trùng lặp và định nghĩa nhóm | Trang này không công bố tập dữ liệu tham chiếu đã được xem xét |
| Tách biệt với dữ liệu nguồn | Kiểm tra trùng lặp và rò rỉ dữ liệu; phân biệt dữ liệu kiểm thử trong quá trình phát triển với một đánh giá độc lập trên dữ liệu được tách riêng | Trang này không công bố báo cáo xác minh việc tách biệt |
| Phiên bản và thực thi | Ngày thực hiện, bản phát hành API chính xác, snapshot tập dữ liệu, phiên bản mô hình hoặc nhà cung cấp khi dùng AI, prompt và thiết lập yêu cầu | Trang này không công bố phiên bản của một đánh giá đã thực hiện |
| Kết quả | N, C, W, U, E, số lượng theo nhóm, khoảng tin cậy và phân tích hiệu chỉnh | Trang này không công bố giá trị hiệu năng đã đo |
| Tái lập và xem xét | Mã đánh giá, kết quả tổng hợp có thể tái lập, giới hạn đã biết và thông tin xác định trách nhiệm xem xét | Chỉ có quy trình; chưa có đợt xem xét phép đo chuẩn độc lập nào hoàn tất |
Sử dụng kết quả trong giới hạn của nó
Mối liên hệ giữa tên hoặc bí danh với giới tính khác nhau giữa các ngôn ngữ, quốc gia và cộng đồng. Nhãn được trả về không thể xác lập bản dạng giới của một người. Hãy giữ nguyên kết quả không xác định và ưu tiên thông tin do chính người đó cung cấp. Không dùng giới tính được suy luận làm cơ sở cho các quyết định có ảnh hưởng quan trọng đến một cá nhân.
Lịch sử xem xét
| Ngày | Phiên bản tài liệu | Thay đổi |
|---|---|---|
| 2026-09-29 | 1.0.0 | Bản tiếng Việt về các loại độ tin cậy, nguồn kết quả, kết quả không xác định và mẫu số đánh giá trong V2. Không công bố kết quả độ chính xác mới. |