कॉन्फिडेंस स्कोर से क्या पता चलता है?
V2 का confidence मान किसी एक अनुमान के पीछे के साक्ष्य का वर्णन करता है। यह पूरी सेवा की सटीकता नहीं मापता और किसी व्यक्ति की लैंगिक पहचान तय नहीं करता। इसे confidence_kind, source और sample_count के साथ पढ़ें।
यह गाइड V2 रिस्पॉन्स के मौजूदा नियम और मूल्यांकन की एक प्रस्तावित योजना बताती है। नियमों से जुड़े टेस्ट रिस्पॉन्स का व्यवहार जाँचते हैं; वे स्वतंत्र संदर्भ लेबल वाले सटीकता अध्ययन नहीं हैं। इस पेज की अपडेट की तारीख भी किसी सटीकता माप की तारीख नहीं है।
26 सितंबर 2026 की एक अलग डेटाबेस प्रोफ़ाइल दो कलेक्शन के मेटाडेटा में दस्तावेज़ों की संख्या और हर कलेक्शन में बेतरतीब ढंग से चुने गए 5,000 रिकॉर्ड की गिनती की संगति बताती है। इन जाँचों में अनुमानों की तुलना स्वतंत्र संदर्भ लेबल से नहीं की गई, इसलिए इनसे कोई सटीकता प्रतिशत नहीं मिलता।
कॉन्फिडेंस के दो प्रकार, दो अर्थ
गणना का एक उदाहरण: अगर चुने गए रिकॉर्ड में male = 90, female = 10 और total = 100 है, तो confidence मान 0.9 होगा। ये काल्पनिक संख्याएँ GenderAPI.io का मापा गया परिणाम नहीं हैं और इनका मतलब यह नहीं कि इस नाम वाले 90% लोग खुद को पुरुष मानते हैं।
यहाँ संग्रहीत गिनतियों को स्वतंत्र और प्रतिनिधि अवलोकन नहीं माना जाता। AI के बताए गए मान इन गिनतियों के आधार पर कैलिब्रेट नहीं किए गए हैं। दोनों प्रकारों को आपस में बदले जा सकने वाली संभावनाओं की तरह न तुलना करें और अपने उपयोग के मामले का आकलन किए बिना कॉन्फिडेंस की कोई सामान्य सीमा न अपनाएँ।
| रिस्पॉन्स फ़ील्ड | डेटासेट परिणाम | AI परिणाम |
|---|---|---|
source | dataset | ai |
confidence_kind | लिंग लौटने पर observed_frequency | लिंग लौटने पर model_reported |
confidence | लिंग लौटने पर संग्रहीत गिनतियों का max(male, female) / total; गिनतियाँ बराबर होने पर null | लिंग लौटने पर मॉडल का बताया गया मान, 0.5 से ज़्यादा और 1 तक; वरना null |
sample_count | चुने गए रिकॉर्ड की संग्रहीत कुल गिनती; मूल्यांकन का सैंपल आकार नहीं | null; डेटासेट का कोई सैंपल आकार नहीं दिया जाता |
match | चुना गया कैंडिडेट, मिलान का तरीका और देश-विशेष या ग्लोबल दायरा | method के लिए model_inference; name, scope और country के लिए null |
अज्ञात, अस्पष्ट और विफल परिणाम
डेटासेट परिणामों के लिए ऐसी कोई सामान्य सीमा नहीं है जो कम कॉन्फिडेंस को अस्वीकार कर दे। AI रिस्पॉन्स के सत्यापन में non-null मान का 0.5 से ज़्यादा होना ज़रूरी है। यह नियम की एक शर्त है, अनुमान की गुणवत्ता का सबूत नहीं। null को वैसा ही रखें; उसे शून्य कॉन्फिडेंस या अंदाज़े से चुनी गई लिंग श्रेणी में न बदलें।
| परिणाम | V2 में व्यवहार | मूल्यांकन में कैसे गिनें |
|---|---|---|
| पहचाना गया | result_status identified है और gender male या female है | संदर्भ लेबल से तुलना करें और जवाब दिए गए मामले के रूप में गिनें |
| अज्ञात | gender और confidence null हैं; result_status unknown है | इस मामले को प्रासंगिक मामलों के सैंपल में रखें और गलत अनुमानों से अलग गिनें |
| डेटासेट में बराबर गिनती | सिर्फ़ डेटासेट वाले मोड में male और female की बराबर गिनती से reason: ambiguous मिलता है; फ़ॉलबैक इसे AI परिणाम से बदल सकता है | अंतिम परिणाम और चुना गया AI मोड दर्ज करें; अस्पष्ट मामले को अतिरिक्त परिणाम के रूप में न गिनें |
| AI के पास पर्याप्त साक्ष्य नहीं | AI का अज्ञात परिणाम source: ai और reason: insufficient_evidence के साथ आता है | unknown के रूप में गिनें; मान्य JSON रिस्पॉन्स यह साबित नहीं करता कि परिणाम सही है |
| अनुरोध या आइटम में त्रुटि | HTTP त्रुटियाँ और बैच के किसी आइटम की त्रुटियाँ ऑपरेशन की विफलता हैं, लिंग लेबल नहीं | त्रुटियों को अलग से रिपोर्ट करें; उन्हें चुपचाप हटाने के बजाय संख्या और भाजक प्रकाशित करें |
वही कॉन्फ़िगरेशन मापें जो आप सच में इस्तेमाल करते हैं
- नाम, ईमेल पता और यूज़रनेम वाले इनपुट को अलग-अलग रखें। ईमेल पते और यूज़रनेम की प्रोसेसिंग में कैंडिडेट निकालना शामिल है, इसलिए सिर्फ़ नामों पर किया गया अध्ययन इस पूरी प्रक्रिया को नहीं मापता।
- ai_mode के off, fallback और always को अलग रखें। forceToGenderize के बिना एकल अनुरोधों में डिफ़ॉल्ट fallback और बैच अनुरोधों में डिफ़ॉल्ट off होता है। fallback पहले डेटासेट खोजता है और लिंग न मिलने पर AI इस्तेमाल करता है। मिला-जुला स्कोर डेटासेट और AI परिणामों के अंतर को छिपा सकता है।
- forceToGenderize का आकलन हर समर्थित इनपुट प्रकार के लिए अलग से करें। यह विकल्प निकनेम के आधार पर संबंध निकाल सकता है, भले ही name null हो; छद्मनाम से खाते के मालिक की पहचान साबित नहीं होती।
- दर्ज करें कि country दिया गया था या नहीं। हर कैंडिडेट के लिए देश-विशेष रिकॉर्ड मौजूद होने पर उसे प्राथमिकता मिलती है, वरना ग्लोबल खोज इस्तेमाल होती है। कौन-सा रिकॉर्ड चुना गया, यह जानने के लिए match.scope और match.country जाँचें।
- परिणाम देश के संदर्भ, लिपि और इनपुट प्रकार के हिसाब से रिपोर्ट करें और हर हिस्से में मामलों की संख्या बताएँ। क्षेत्र से जुड़ा संबंध राष्ट्रीयता या निवास साबित नहीं करता।
- अलग टेस्ट सैंपल मापने से पहले अपने ऐप्लिकेशन में इस्तेमाल हो सकने वाली कॉन्फिडेंस सीमा तय करें। हर confidence_kind के लिए API के मूल परिणाम और सीमा से बाहर किए गए रिस्पॉन्स अलग-अलग प्रकाशित करें।
मेट्रिक और भाजक की परिभाषाएँ
नियोजित मूल्यांकन में N संदर्भ लेबल वाले प्रासंगिक मामलों की संख्या है। A = C + W उन मामलों की संख्या है जिनमें लिंग लौटाया गया: इनमें C सही और W गलत हैं। U अज्ञात परिणाम हैं और E वे ऑपरेशन त्रुटियाँ हैं जो ऐप्लिकेशन के पहले से तय चलाने के नियमों के बाद भी बची रहती हैं। हर मामले का सिर्फ़ एक अंतिम परिणाम हो, तो N = C + W + U + E होता है। प्रतिशत से पहले ये संख्याएँ प्रकाशित करें।
अगर N = 0 है, तो पूरे समूह के लिए कोई मेट्रिक परिभाषित नहीं है। अपरिभाषित मेट्रिक को 0% के रूप में प्रकाशित न करें। अनिश्चितता के अंतराल और उनकी गणना का तरीका बताएँ। छोटे या गैर-प्रतिनिधि हिस्से सटीकता के बारे में सामान्य दावों के लिए काफ़ी नहीं हैं।
| मेट्रिक | परिभाषा | प्रकाशित माप |
|---|---|---|
| जवाब का कवरेज | A / N | मापा नहीं गया |
| जवाब दिए गए मामलों में सटीकता | C / A; A = 0 होने पर अपरिभाषित | मापा नहीं गया |
| जवाब दिए गए मामलों में त्रुटि दर | W / A; A = 0 होने पर अपरिभाषित | मापा नहीं गया |
| सभी प्रासंगिक मामलों में सही जवाब | C / N; इसे जवाब दिए गए मामलों की सटीकता न मानें | मापा नहीं गया |
| अज्ञात परिणामों की दर | U / N; अस्पष्ट मामलों को U के एक उपसमूह के रूप में रिपोर्ट किया जा सकता है | मापा नहीं गया |
| ऑपरेशन त्रुटि दर | E / N; त्रुटियों को स्थिर त्रुटि कोड के हिसाब से भी बाँटें | मापा नहीं गया |
| कैलिब्रेशन | observed_frequency और model_reported के लिए अलग-अलग, स्कोर के अंतरालों की तुलना देखी गई सही दर से करें; अंतराल बाँटने का तरीका, मामलों की संख्या और अनिश्चितता बताएँ | मापा नहीं गया |
दोहराए जा सकने वाले मूल्यांकन में क्या होना चाहिए
नाम से लिंग बताने वाली दूसरी सेवाओं से अनुमान लेकर संदर्भ लेबल न बनाएँ। उपयुक्त स्वतंत्र संदर्भ के बिना ऐसी तुलना सिर्फ़ सहमति को मापती है, सत्यापित सटीकता को नहीं। अगर संदर्भ लेबल API के दो-श्रेणी वाले परिणाम से मेल नहीं खाते, तो लोगों के लेबल को API के अनुसार बदलने के बजाय इस सीमा और मूल्यांकन के दायरे को साफ़ बताएँ।
| हिस्सा | ज़रूरी जानकारी | मौजूदा सार्वजनिक साक्ष्य |
|---|---|---|
| संदर्भ समूह | संदर्भ लेबल का स्रोत और उसके इस्तेमाल का अधिकार; शामिल करने और बाहर रखने के मानदंड, सैंपल चुनने की प्रक्रिया, डुप्लिकेट हटाना और हिस्सों की परिभाषाएँ | यहाँ कोई सत्यापित संदर्भ डेटासेट प्रकाशित नहीं है |
| स्रोत डेटा का अलगाव | ओवरलैप और डेटा लीकेज की जाँच; विकास के दौरान इस्तेमाल हुए टेस्ट डेटा और स्वतंत्र, अलग मूल्यांकन के बीच अलगाव | यहाँ अलगाव की पुष्टि करने वाली कोई रिपोर्ट प्रकाशित नहीं है |
| संस्करण और चलाना | चलाने की तारीख, API का सटीक संस्करण, डेटासेट स्नैपशॉट, AI इस्तेमाल होने पर मॉडल या सेवा प्रदाता का संस्करण, प्रॉम्प्ट और अनुरोध की सेटिंग | यहाँ किसी पूरे हुए मूल्यांकन का संस्करण प्रकाशित नहीं है |
| परिणाम | N, C, W, U, E, हर हिस्से में मामलों की संख्या, कॉन्फिडेंस अंतराल और कैलिब्रेशन विश्लेषण | यहाँ कोई मापा गया प्रदर्शन आँकड़ा प्रकाशित नहीं है |
| दोहराना और समीक्षा | मूल्यांकन का कोड, दोहराए जा सकने वाले कुल परिणाम, ज्ञात सीमाएँ और समीक्षा के लिए ज़िम्मेदार नामित व्यक्ति या टीम | सिर्फ़ एक योजना है; कोई स्वतंत्र मूल्यांकन पूरा नहीं हुआ है |
परिणाम को उसकी सीमाओं के भीतर इस्तेमाल करें
नाम या निकनेम और लिंग के बीच का संबंध भाषा, देश और जनसंख्या के साथ बदलता है। लौटाया गया लेबल किसी व्यक्ति की लैंगिक पहचान तय नहीं कर सकता। अज्ञात परिणाम सुरक्षित रखें और व्यक्ति की खुद दी हुई जानकारी को प्राथमिकता दें। किसी व्यक्ति के बारे में महत्वपूर्ण फ़ैसलों का आधार अनुमानित लिंग को न बनाएँ।
बदलावों का इतिहास
| तारीख | दस्तावेज़ संस्करण | बदलाव |
|---|---|---|
| 2026-09-29 | 1.0.0 | V2 के कॉन्फिडेंस प्रकारों, परिणाम के स्रोत, अज्ञात परिणामों और मूल्यांकन के भाजकों का हिंदी संस्करण। कोई नया सटीकता आँकड़ा प्रकाशित नहीं किया गया। |