신뢰도 값으로 무엇을 알 수 있나요?
V2의 신뢰도 값은 하나의 추정 뒤에 있는 근거를 설명합니다. 서비스 전체의 정확도를 측정하거나 사람의 성 정체성을 확정하지 않습니다. confidence는 confidence_kind, source, sample_count와 함께 읽으세요.
이 페이지는 현재 V2 응답 규격과 제안된 평가 프로토콜을 설명합니다. 규격 테스트는 응답 동작을 검증할 뿐이며, 독립적으로 레이블을 붙인 정확도 연구가 아닙니다. 페이지를 검토한 날짜는 정확도를 측정한 날짜가 아닙니다.
2026년 9월 26일에 관찰한 별도의 데이터베이스 프로필은 컬렉션 메타데이터 기준 문서 수와, 컬렉션마다 무작위로 추출한 5,000개 레코드의 수치 일관성을 보고합니다. 이러한 확인은 추정을 독립적인 참조 레이블과 비교하지 않으므로 정확도 백분율을 제공하지 않습니다.
두 가지 신뢰도 종류, 두 가지 의미
설명을 위한 계산 예시일 뿐입니다. 선택된 행에 male = 90, female = 10, total = 100이 저장되어 있다면 confidence는 0.9입니다. 이 가상의 건수는 GenderAPI.io의 측정 결과가 아니며, 그 이름을 가진 사람의 90%가 자신을 남성으로 정체화한다는 뜻도 아닙니다.
저장된 건수는 여기에서 독립적이고 대표성 있는 관찰로 게시되지 않습니다. AI 점수는 이 건수를 기준으로 보정되지 않았습니다. 두 종류를 서로 바꿔 쓸 수 있는 확률로 비교하지 말고, 사용 사례에 대한 평가 없이 보편적인 신뢰도 임계값을 적용하지 마세요.
| 응답 필드 | 데이터셋 결과 | AI 결과 |
|---|---|---|
source | dataset | ai |
confidence_kind | 성별이 반환될 때 observed_frequency | 성별이 반환될 때 model_reported |
confidence | 성별이 반환될 때 max(저장된 male 건수, 저장된 female 건수) / 저장된 합계이며, 건수가 정확히 같으면 null | 성별이 반환될 때 모델이 보고한 0.5 초과 1 이하의 점수이며, 그 밖에는 null |
sample_count | 선택된 행에 저장된 합계이며, 평가 표본의 크기가 아닙니다 | null이며, 데이터셋 표본 수는 제공되지 않습니다 |
match | 선택된 조회 후보, 일치 방법, 국가별 또는 전역 범위 | method는 model_inference이며, name, scope, country는 null입니다 |
알 수 없는 결과, 모호한 결과, 실패한 요청
데이터셋 결과에는 신뢰도가 낮은 결과를 거부하는 보편적인 임계값이 없습니다. AI 응답 검증은 null이 아닌 점수가 0.5보다 클 것을 요구합니다. 이는 규격상의 제약일 뿐, 추정 품질의 증거가 아닙니다. null을 신뢰도 0이나 추측한 범주로 바꾸지 말고 그대로 유지하세요.
| 결과 | V2 동작 | 평가에서의 처리 |
|---|---|---|
| 식별됨 | result_status가 identified이고 gender가 male 또는 female입니다 | 참조 레이블과 비교하고 응답한 사례로 셉니다 |
| 알 수 없음 | gender와 confidence가 null이고 result_status가 unknown입니다 | 평가 대상 표본에 남기고 틀린 추정과 따로 셉니다 |
| 모호한 데이터셋 행 | 저장된 male과 female 건수가 같으면 데이터셋 전용 모드에서 reason: ambiguous가 됩니다. 폴백은 이 결과를 AI 결과로 대체할 수 있습니다 | 최종 결과와 선택한 AI 모드를 기록하고, 모호함을 또 다른 결과로 이중 집계하지 마세요 |
| AI 근거 부족 | AI의 알 수 없는 결과는 source: ai와 reason: insufficient_evidence를 사용합니다 | 알 수 없음으로 셉니다. 유효한 JSON 응답이 정답임을 증명하지는 않습니다 |
| 요청 또는 항목 오류 | HTTP 오류와 일괄 요청의 항목 오류는 운영상의 결과이며 성별 레이블이 아닙니다 | 실패는 따로 보고하고, 말없이 제외하지 말고 그 건수와 분모를 게시하세요 |
실제로 사용하는 구성을 측정하기
- 이름, 이메일 주소, 사용자 이름 입력을 구분하세요. 이메일 주소나 사용자 이름 워크플로에는 후보 추출이 포함되므로, 이름만 다루는 연구로는 전체 워크플로의 성능을 측정할 수 없습니다.
- ai_mode의 off, fallback, always를 구분하세요. forceToGenderize가 없으면 단일 요청의 기본값은 fallback이고 일괄 요청의 기본값은 off입니다. fallback은 데이터셋을 먼저 시도하고 성별이 반환되지 않으면 AI에 요청합니다. 합산한 점수는 데이터셋 결과와 AI 결과의 차이를 가릴 수 있습니다.
- forceToGenderize는 지원되는 모든 입력 유형에 대해 따로 평가하세요. 이 옵션은 name이 null이어도 별명에서 연관성을 추론할 수 있습니다. 별칭은 계정 소유자의 신원을 증명하지 않습니다.
- country를 제공했는지 기록하세요. 국가별 행이 있으면 각 후보에 대해 그 행이 우선되고, 없으면 전역 조회가 사용됩니다. 어떤 근거가 선택되었는지는 match.scope와 match.country에서 확인하세요.
- 국가 컨텍스트, 문자 체계, 입력 유형별로 결과를 나누고 세그먼트마다 사례 수를 함께 보고하세요. 지역과의 연관성은 국적이나 거주지가 아닙니다.
- 애플리케이션에서 쓸 신뢰도 임계값은 별도로 보관한 표본을 측정하기 전에 정하세요. API의 원래 결과와, 그 임계값 때문에 애플리케이션이 판단을 보류한 결과를 confidence_kind별로 따로 보고하세요.
지표 정의와 분모
계획된 평가에서 N은 참조 레이블이 있는 평가 대상 사례의 수입니다. A = C + W는 성별이 응답된 사례의 수이며, C는 맞은 사례, W는 틀린 사례입니다. U는 알 수 없는 결과이고, E는 미리 정한 실행 규칙을 적용한 뒤의 운영 오류입니다. 사례마다 최종 결과가 하나라면 N = C + W + U + E입니다. 백분율보다 먼저 이 건수를 게시하세요.
N = 0이면 이러한 모집단 비율은 정의되지 않습니다. 정의되지 않은 비율을 0%로 게시하지 마세요. 불확실성 구간과 그 계산 방법을 함께 밝히세요. 작거나 대표성이 없는 세그먼트로는 폭넓은 정확도 주장을 뒷받침할 수 없습니다.
| 지표 | 정의 | 게시된 측정값 |
|---|---|---|
| 응답 커버리지 | A / N | 측정되지 않음 |
| 응답한 사례의 정확도 | C / A(A = 0이면 정의되지 않음) | 측정되지 않음 |
| 응답한 사례의 오류율 | W / A(A = 0이면 정의되지 않음) | 측정되지 않음 |
| 전체 평가 대상 사례 중 정답 비율 | C / N(응답한 사례의 정확도라고 부르지 마세요) | 측정되지 않음 |
| 알 수 없는 결과의 비율 | U / N(모호함은 U의 부분집합으로 보고할 수 있음) | 측정되지 않음 |
| 운영 오류율 | E / N(오류를 안정적인 오류 코드별로도 나누세요) | 측정되지 않음 |
| 보정 | observed_frequency와 model_reported를 나누어 점수 구간을 관찰된 정답 여부와 비교하고, 구간 설정, 건수, 불확실성을 공개하세요 | 측정되지 않음 |
재현 가능한 평가에 포함해야 할 내용
다른 이름 기반 추정 서비스에 추측을 요청해 참조 레이블을 만들지 마세요. 적절한 독립적 참조가 없다면 그러한 비교는 검증된 정확도가 아니라 일치도를 측정합니다. 참조 레이블이 API의 이진 출력과 맞지 않는다면, API에 맞추려고 사람들에게 레이블을 다시 붙이지 말고 그 한계와 평가 범위를 문서화하세요.
| 구성 요소 | 공개해야 할 내용 | 현재 공개된 근거 |
|---|---|---|
| 참조 모집단 | 참조 레이블의 출처와 사용 허가, 평가 대상 기준, 제외 기준, 표본 추출, 중복 제거, 세그먼트 정의 | 검토된 참조 데이터셋은 여기에 게시되어 있지 않습니다 |
| 원천 데이터와의 분리 | 중복과 누출을 확인하고, 개발용 테스트 데이터와 독립적으로 보관한 평가를 구분 | 검증된 분리 보고서는 여기에 게시되어 있지 않습니다 |
| 버전과 실행 | 실행 날짜, 정확한 API 릴리스, 데이터셋 스냅샷, AI를 사용하는 경우 모델 또는 제공업체의 버전, 프롬프트와 요청 설정 | 실행된 평가의 버전은 여기에 게시되어 있지 않습니다 |
| 결과 | N, C, W, U, E, 세그먼트별 건수, 신뢰 구간과 보정 분석 | 측정된 성능 값은 여기에 게시되어 있지 않습니다 |
| 재현과 검토 | 평가 코드, 재현 가능한 집계 결과, 알려진 한계, 식별 가능한 검토 책임 | 프로토콜만 있으며, 완료된 독립 측정 검토는 없습니다 |
한계를 이해하고 결과 사용하기
이름이나 별칭과 성별의 연관성은 언어, 국가, 모집단에 따라 다릅니다. 반환된 레이블로 사람의 성 정체성을 확정할 수 없습니다. 알 수 없는 결과를 그대로 유지하고, 본인이 제공한 정보를 우선하세요. 추정된 성별을 개인에게 중대한 영향을 미치는 결정의 근거로 사용하지 마세요.
변경 이력
| 날짜 | 문서 버전 | 변경 내용 |
|---|---|---|
| 2026-09-29 | 1.0.0 | V2의 신뢰도 종류, 결과 출처, 알 수 없는 결과, 평가 분모를 다룬 한국어판입니다. 새로운 정확도 결과는 게시하지 않습니다. |