# GenderAPI.io V2の精度と信頼度の説明

> V2の信頼度のスコアの意味、不明な結果がカバレッジに与える影響、再現可能な精度の評価で報告すべき内容を説明します。このページでは、測定した精度のベンチマークは公開していません。

Canonical HTML: https://www.genderapi.io/ja/accuracy-methodology

Last reviewed: 2026-09-29

## 信頼度のスコアから何が分かるのか

V2の信頼度のスコアは、1件の推定の根拠を表すものです。サービス全体の精度を測るものではなく、その人の性自認を確定するものでもありません。信頼度はconfidence_kind、source、sample_countとあわせて読んでください。

このガイドでは、現在のV2のレスポンスの仕様と、提案中の評価プロトコルを説明します。仕様テストはレスポンスの動作を確認するものであり、独立した参照ラベルを使った精度の研究ではありません。このページの更新日も、精度を測定した日付ではありません。

別に公開している2026年9月26日付のデータベース概要では、コレクションのメタデータ上の件数と、各コレクションから無作為に抽出した5,000件のレコードにおける件数の整合性を報告しています。これらの確認は推定結果を独立した参照ラベルと比較していないため、精度の割合を示すものではありません。

- [V2のレスポンスフィールド](https://www.genderapi.io/ja/docs/v2/responses)
- [日付付きのデータベース概要とその限界](https://www.genderapi.io/ja/data-provenance)

## 2種類の信頼度と、それぞれの意味

説明のための計算例です。選ばれた行にmale = 90、female = 10、total = 100が保存されている場合、信頼度は0.9になります。これらは架空の件数であり、GenderAPI.ioの測定結果でも、その名前を持つ人の90%が男性を自認していることを示すものでもありません。

保存された件数を、独立した代表的な観測としてここで公開しているわけではありません。AIのスコアは、これらの件数に対して較正されていません。2つの種類を同じ意味のスコアとして比較したり、自分の用途で評価しないまま共通の信頼度のしきい値を使ったりしないでください。

| レスポンスのフィールド | データセットの結果 | AIの結果 |
| --- | --- | --- |
| `source` | dataset | ai |
| `confidence_kind` | 性別が返る場合はobserved_frequency | 性別が返る場合はmodel_reported |
| `confidence` | 性別が返る場合は、保存された件数のmax(male, female) / total。件数が完全に同数の場合はnull | 性別が返る場合は、モデルが報告した0.5より大きく1以下のスコア。それ以外はnull |
| `sample_count` | 選ばれたレコードに保存されている合計件数。評価のサンプルサイズではありません | null。データセットのサンプル数はありません |
| `match` | 選ばれた検索の候補、照合方法、国別またはグローバルの範囲 | methodはmodel_inference。name、scope、countryはnull |

## 不明な結果、同数の結果、失敗したリクエスト

データセットの結果には、信頼度が低いものを除外する共通のしきい値はありません。AIのレスポンスの検証では、nullでないスコアが0.5より大きいことが求められます。これは仕様上の条件であり、推定の品質を証明するものではありません。nullは信頼度ゼロや二択の推測に置き換えず、そのまま保持してください。

| 結果 | V2の動作 | 評価での扱い |
| --- | --- | --- |
| 推定済み | result_statusがidentifiedで、genderがmaleまたはfemale | 参照ラベルと比較し、回答済みとして数える |
| 不明 | genderとconfidenceがnullで、result_statusがunknown | 対象のサンプルに残し、誤った推定とは別に数える |
| データセットで同数の行 | データセットのみのモードでは、保存されたmaleとfemaleの件数が同数だとreason: ambiguousになります。フォールバックでは、この結果がAIの結果に置き換わることがあります | 最終的な結果と選んだAIモードを記録する。同数の結果を別の結果として二重に数えない |
| AIの根拠が不十分 | AIによる不明な結果には、source: aiとreason: insufficient_evidenceが付きます | 不明として数える。有効なJSONのレスポンスは正しさを証明しない |
| リクエストまたは項目のエラー | HTTPエラーとバッチの項目エラーは運用上の結果であり、性別のラベルではありません | 失敗は別に報告する。黙って除外せず、件数と分母を公開する |

- [不明な結果とレスポンスの理由](https://www.genderapi.io/ja/docs/v2/responses)

## 実際に使っている設定を測定する

- 名前、メールアドレス、ユーザー名の入力は分けて扱ってください。メールアドレスやユーザー名のワークフローには候補の抽出が含まれるため、名前だけの研究ではエンドツーエンドの性能を測れません。
- ai_modeのoff、fallback、alwaysは分けて扱ってください。forceToGenderizeを使わない場合、単一リクエストのデフォルトはfallback、バッチのデフォルトはoffです。fallbackはまずデータセットを試し、性別が返らなければAIに問い合わせます。まとめたスコアでは、データセットとAIの結果の違いが見えなくなることがあります。
- forceToGenderizeは、対応するすべての入力の種類について個別に評価してください。nameがnullでも、ニックネームから関連付けを推定することがあります。エイリアスは、アカウントの所有者が誰であるかの根拠ではありません。
- countryを指定したかどうかを記録してください。候補ごとに国別の行があれば優先され、なければグローバルの検索が使われます。どの根拠が選ばれたかは、match.scopeとmatch.countryで確認してください。
- 国のコンテキスト、文字体系、入力の種類ごとに、各区分の件数とあわせて結果を報告してください。地域との関連付けは、国籍や居住地ではありません。
- アプリケーションで信頼度のしきい値を使う場合は、評価用に分けたサンプルを測定する前に決めてください。APIの結果そのものと、そのしきい値によってアプリケーションが回答を保留したものを、confidence_kindごとに分けて報告してください。

- [AIモードとニックネームの推定](https://www.genderapi.io/ja/docs/v2/ai-options)
- [リクエストのパラメーター](https://www.genderapi.io/ja/docs/v2/request-parameters)

## 指標の定義と分母

計画中の評価では、Nは参照ラベルが付いた対象ケースの数です。A = C + Wは性別が回答されたケースの数で、Cが正解、Wが不正解です。Uは不明、Eは事前に決めた実行ルールを適用した後の運用上のエラーです。各ケースの最終結果が1つであれば、N = C + W + U + Eになります。割合より先に、これらの件数を公開してください。

N = 0の場合、これらの割合は定義されません。定義されない割合を0%として公開しないでください。不確かさの区間とその計算方法を示してください。小さな区分や代表性のない区分では、精度についての広い主張を裏付けることはできません。

| 指標 | 定義 | 公開済みの測定値 |
| --- | --- | --- |
| 回答カバレッジ | A / N | 未測定 |
| 回答済みケースの精度 | C / A。A = 0の場合は定義されない | 未測定 |
| 回答済みケースの誤り率 | W / A。A = 0の場合は定義されない | 未測定 |
| 対象ケース全体での正解 | C / N。回答済みケースの精度と表示しない | 未測定 |
| 不明率 | U / N。同数の結果はUの内訳として報告できる | 未測定 |
| 運用エラー率 | E / N。エラーは安定したエラーコードごとにも分けて示す | 未測定 |
| 較正 | observed_frequencyとmodel_reportedごとに、スコアの区間と実際の正解の割合を比較する。区間の分け方、件数、不確かさを開示する | 未測定 |

## 再現可能な評価に含めるべき内容

別の名前推定サービスに推測させて参照ラベルを作らないでください。適切な独立した参照がない限り、その比較で測れるのは一致の度合いであり、検証された精度ではありません。参照ラベルがAPIの二択の出力に対応しない場合は、APIに合わせて人のラベルを付け替えるのではなく、その限界と評価の範囲を記録してください。

| 記録 | 開示が必要な内容 | 現在公開されている根拠 |
| --- | --- | --- |
| 参照となる母集団 | 参照ラベルの出所と利用許諾。対象の条件、除外、抽出、重複の除去、区分の定義 | レビュー済みの参照データセットは、ここでは公開していません |
| 元データとの分離 | 重複と情報漏れの確認。開発用のテストデータと、独立して分けた評価との区別 | 分離を確認した報告は、ここでは公開していません |
| バージョンと実行 | 実行日、正確なAPIのリリース、データセットのスナップショット、AIを使う場合のモデルやプロバイダーのリビジョン、プロンプト、リクエストの設定 | 実行済みの評価のバージョンは、ここでは公開していません |
| 結果 | N、C、W、U、E、区分ごとの件数、信頼区間、較正の分析 | 測定した性能の値は、ここでは公開していません |
| 再現とレビュー | 評価のコード、再現可能な集計結果、既知の限界、レビューの責任者が分かる情報 | プロトコルのみ。完了した独立のベンチマークのレビューはありません |

## 結果は限界を踏まえて使う

名前やエイリアスと性別の関連付けは、言語、国、集団によって異なります。返されたラベルで、その人の性自認を確定することはできません。不明な結果は保持し、本人から提供された情報を優先してください。推定された性別を、個人に重大な影響を与える判断の根拠にしないでください。

- [データソースと出所の情報の限界](https://www.genderapi.io/ja/data-provenance)
- [評価の根拠についてGenderAPI.ioに問い合わせる](https://www.genderapi.io/ja/contact)

## 改訂履歴

| 日付 | ドキュメントのリビジョン | 変更内容 |
| --- | --- | --- |
| 2026-09-29 | 1.0.0 | V2の信頼度の種類、結果のソース、不明な結果、評価の分母についての日本語版。新しい精度の値は公開していません。 |