एल्गोरिदम लोगों को उनके पूर्वाग्रहों को देखने और ठीक करने में मदद करते हैं, स्टडी में खुलासा

दर्पण में पूर्वाग्रह

नौ प्रयोगों में, बेगम सेलिकिटुटन, रोमेन कैडारियो और मेरे शोध प्रतिभागियों ने उबर ड्राइवरों या एयरबीएनबी लिस्टिंग को उनके ड्राइविंग कौशल, विश्वसनीयता या लिस्टिंग को किराए पर लेने की संभावना के आधार पर रेटिंग दी थी। हमने प्रतिभागियों को प्रासंगिक विवरण दिए, जैसे उनके द्वारा की गई यात्राओं की संख्या, संपत्ति का विवरण या स्टार रेटिंग। हमने जानकारी का एक अप्रासंगिक पूर्वाग्रह भी शामिल किया: एक तस्वीर से ड्राइवरों की उम्र, लिंग और आकर्षण का पता चलता है, या एक नाम जो दर्शाता है कि लिस्टिंग होस्ट श्वेत या अश्वेत थे। प्रतिभागियों द्वारा अपनी रेटिंग बनाने के बाद, हमने उन्हें दो रेटिंग सारांशों में से एक दिखाया: एक उनकी अपनी रेटिंग दिखा रहा था, या एक एल्गोरिदम की रेटिंग दिखा रहा था जिसे उनकी रेटिंग पर प्रशिक्षित किया गया था।

हमने प्रतिभागियों को उस पक्षपातपूर्ण विशेषता के बारे में बताया जिसने इन रेटिंग्स को प्रभावित किया होगा; उदाहरण के लिए, एयरबीएनबी मेहमानों द्वारा विशिष्ट अफ्रीकी अमेरिकी नाम वाले मेज़बानों से जगह किराए पर लेने की संभावना कम होती है। फिर हमने उनसे यह निर्णय करने के लिए कहा कि सारांश में रेटिंग पर पूर्वाग्रह का कितना प्रभाव पड़ा। चाहे प्रतिभागियों ने नस्ल, उम्र, लिंग या आकर्षण के पूर्वाग्रह प्रभाव का आकलन किया हो, उन्होंने एल्गोरिदम द्वारा बनाई गई रेटिंग में खुद की तुलना में अधिक पूर्वाग्रह देखा। यह एल्गोरिथम दर्पण प्रभाव इस बात पर कायम है कि क्या प्रतिभागियों ने वास्तविक एल्गोरिदम की रेटिंग का मूल्यांकन किया है या हमने प्रतिभागियों को उनकी अपनी रेटिंग दिखाई है और उन्हें भ्रामक रूप से बताया है कि एक एल्गोरिदम ने उन रेटिंगों को बनाया है।

प्रतिभागियों ने अपने स्वयं के निर्णयों की तुलना में एल्गोरिदम के निर्णयों में अधिक पूर्वाग्रह देखा, यहां तक कि जब हमने प्रतिभागियों को नकद बोनस दिया, यदि उनके पूर्वाग्रह निर्णय एक अलग प्रतिभागी द्वारा किए गए निर्णयों से मेल खाते थे, जिन्होंने समान निर्णय देखे थे। एल्गोरिथम दर्पण प्रभाव तब भी बना रहा, जब प्रतिभागी हाशिए की श्रेणी में थे - उदाहरण के लिए, एक महिला या अश्वेत के रूप में पहचान करके। अनुसंधान प्रतिभागी अपने स्वयं के निर्णयों पर प्रशिक्षित एल्गोरिदम में पूर्वाग्रहों को देखने में सक्षम थे क्योंकि वे अन्य लोगों के निर्णयों में पूर्वाग्रहों को देखने में सक्षम थे। साथ ही, प्रतिभागियों को अपने स्वयं के निर्णयों की तुलना में एल्गोरिदम के निर्णयों में नस्लीय पूर्वाग्रह के प्रभाव को देखने की अधिक संभावना थी, लेकिन उन्हें एल्गोरिदम के निर्णयों और स्वयं अपने निर्णय पर स्टार रेटिंग जैसी रक्षात्मक सुविधाओं के प्रभाव को देखने की भी समान संभावना थी।

पूर्वाग्रह ब्लाइंड स्पॉट

लोग एल्गोरिदम में अपने पूर्वाग्रहों को अधिक देखते हैं क्योंकि एल्गोरिदम लोगों के पूर्वाग्रह के ब्लाइंड स्पॉट को हटा देता है। अपने निर्णयों की तुलना में दूसरों के निर्णयों में पूर्वाग्रह देखना आसान है क्योंकि आप उनका मूल्यांकन करने के लिए विभिन्न साक्ष्यों का उपयोग करते हैं। पूर्वाग्रह के लिए अपने निर्णयों की जांच करते समय, आप सचेत पूर्वाग्रह के सबूत खोजते हैं - चाहे आपने निर्णय लेते समय जाति, लिंग, आयु, स्थिति या अन्य अनुचित विशेषताओं के बारे में सोचा हो। आप अपने निर्णयों में पूर्वाग्रह को नजरअंदाज करते हैं और उसे माफ कर देते हैं क्योंकि आपके पास सहयोगी मशीनरी तक पहुंच नहीं है जो आपके सहज निर्णयों को संचालित करती है, जहां पूर्वाग्रह अक्सर सामने आता है। आप सोच सकते हैं, जब मैंने उन्हें काम पर रखा तो मैंने उनकी जाति या लिंग के बारे में नहीं सोचा। मैंने उन्हें केवल योग्यता के आधार पर काम पर रखा है।

पूर्वाग्रह के लिए दूसरों के निर्णयों की जांच करते समय, आपके पास उन प्रक्रियाओं तक पहुंच नहीं होती है जिनका उपयोग वे निर्णय लेने के लिए करते हैं। तो आप पूर्वाग्रह के लिए उनके निर्णयों की जांच करें, जहां पूर्वाग्रह स्पष्ट है और नजरअंदाज करना कठिन है। उदाहरण के लिए, आप देख सकते हैं कि उन्होंने केवल गोरे लोगों को ही काम पर रखा था। एल्गोरिदम पूर्वाग्रह के ब्लाइंड स्पॉट को हटा देता है क्योंकि आप एल्गोरिदम को अधिक उसी तरह देखते हैं जैसे आप अपने अलावा अन्य लोगों को देखते हैं। एल्गोरिदम की निर्णय लेने की प्रक्रिया एक ब्लैक बॉक्स है, उसी तरह जैसे आप अन्य लोगों के विचार तक नहीं पहुंच सकते हैं। हमारे अध्ययन में भाग लेने वाले प्रतिभागियों में पूर्वाग्रह के ब्लाइंड स्पॉट को प्रदर्शित करने की सबसे अधिक संभावना थी, उनके अपने निर्णयों की तुलना में एल्गोरिदम के निर्णयों में अधिक पूर्वाग्रह देखने की संभावना थी।

लोग एल्गोरिदम में भी पूर्वाग्रह को बाहरी रूप देते हैं। एल्गोरिदम में पूर्वाग्रह देखना अपने आप में पूर्वाग्रह देखने से कम खतरनाक है, तब भी जब एल्गोरिदम को आपकी पसंद के अनुसार प्रशिक्षित किया जाता है। लोग इसका दोष एल्गोरिदम पर डालते हैं। एल्गोरिदम को मानवीय निर्णयों पर प्रशिक्षित किया जाता है, फिर भी लोग प्रतिबिंबित पूर्वाग्रह को एल्गोरिदमिक पूर्वाग्रह कहते हैं।

सुधारात्मक लेंस

हमारे प्रयोगों से पता चलता है कि जब लोग एल्गोरिदम में प्रतिबिंबित होते हैं तो उनके पूर्वाग्रहों को ठीक करने की अधिक संभावना होती है। अंतिम प्रयोग में, हमने प्रतिभागियों को उनके द्वारा मूल्यांकन की गई रेटिंग को सही करने का मौका दिया। हमने प्रत्येक प्रतिभागी को अपनी रेटिंग दिखाई, जिसका श्रेय हमने या तो प्रतिभागी को दिया या उनके निर्णयों पर प्रशिक्षित एल्गोरिदम को दिया। जब प्रतिभागियों को किसी एल्गोरिथम के लिए जिम्मेदार ठहराया गया तो उनके द्वारा रेटिंग को सही करने की अधिक संभावना थी क्योंकि उनका मानना था कि रेटिंग अधिक पक्षपाती थी। परिणामस्वरूप, जब अंतिम संशोधित रेटिंग को एक एल्गोरिदम के लिए जिम्मेदार ठहराया गया तो वे कम पक्षपातपूर्ण थे। हानिकारक प्रभाव डालने वाले एल्गोरिथम पूर्वाग्रहों को अच्छी तरह से प्रलेखित किया गया है। हमारे निष्कर्ष बताते हैं कि एल्गोरिथम पूर्वाग्रह का अच्छे के लिए लाभ उठाया जा सकता है। पूर्वाग्रह को ठीक करने के लिए पहला कदम इसके प्रभाव और दिशा को पहचानना है। हमारे पूर्वाग्रहों को उजागर करने वाले दर्पण के रूप में, एल्गोरिदम हमारे निर्णय लेने में सुधार कर सकते हैं। (केरी के. मोरवेज़, बोस्टन विश्वविद्यालय)