AI के दौर में बिखरता वेब, भरोसेमंद जानकारी की तलाश हुई मुश्किल

इससे वेबसाइट संचालकों, आम लोगों और यहां तक कि एआई कंपनियों के लिए भी एक मुश्किल स्थिति पैदा हो रही है। वेबसाइटों पर पहुंचने वाले लोगों की संख्या और उनसे होने वाली कमाई घट रही है, ऐसे में कई वेबसाइट एआई टूल को अपनी सामग्री खंगालने से रोकने लगी हैं।

नतीजतन, एआई के जवाबों की निर्भरता कम गुणवत्ता वाली वेबसाइट पर बढ़ रही है और इनमें से कई वेबसाइट खुद एआई द्वारा तैयार की गई हैं। इससे अच्छी और भरोसेमंद जानकारी ढूंढना पहले से कहीं मुश्किल हो सकता है।

हम यहां तक कैसे पहुंचे

’वर्ल्ड वाइड वेब’ के शुरुआती दौर में सर्च इंजन और सामग्री तैयार करने वालों के बीच वेबसाइट को खंगालने को लेकर एक व्यवस्था बनी थी। वेबसाइट के मालिक सर्च इंजनों को अपनी सामग्री तक मुफ्त पहुंच देते थे, ताकि वे उसे सूचीबद्ध कर सकें और खोज परिणामों में दिखा सकें। सर्च इंजन भी सामग्री के छोटे अंश दिखाने की अनुमति का इस्तेमाल करते थे।

इसके बदले सर्च इंजन उन वेबसाइट के लिंक उपलब्ध कराते थे, जिनसे सामग्री तैयार करने वालों को वेबसाइट पर आने वाले लोगों के रूप में फायदा मिलता था। अगर किसी सामग्री निर्माता को यह व्यवस्था पसंद नहीं थी, तो वह ’रोबोट्स डॉट टीएक्सटी’ नाम की एक फाइल में निर्देश देकर सर्च इंजन को अपनी वेबसाइट खंगालने से रोक सकता था। लेकिन अगर एआई टूल अब वेबसाइट पर लोगों को नहीं भेजते, तो इससे सामग्री तैयार करने वाले इस आर्थिक व्यवस्था से बाहर हो जाते हैं।

लागत लग रही, लेकिन कोई कमाई नहीं

वेबसाइट पर हर बार किसी के आने से कुछ लागत भी जुड़ी होती है। ऐसे में एआई द्वारा वेबसाइट को खंगालने से वेबसाइट संचालकों का खर्च तो बढ़ सकता है, लेकिन उन्हें इंसानी विजिटर से मिलने वाले विज्ञापन या अन्य आय नहीं मिलती। एआई के जरिए वेबसाइट को खंगालने वाले टूल पारंपरिक ’वेब क्रॉलर’ की तुलना में कहीं अधिक गहराई और तेजी से सामग्री खंगालते हैं, जिससे यह खर्च और बढ़ जाता है।

वेबसाइट पर आने वाले लोगों की संख्या में यह बदलाव मामूली या काल्पनिक समस्या नहीं है। ’वेब होस्टिंग’ और इंटरनेट की शीर्ष 10,000 वेबसाइट में से 30 प्रतिशत या उससे अधिक का प्रबंधन करने वाली कंपनी क्लाउडफ्लेयर का अनुमान है कि अब वेब पर होने वाले कुल ट्रैफिक में आधे से ज्यादा हिस्सा एआई बॉट का है।

इसमें कुछ एआई एजेंट ऐसे हो सकते हैं, जिन्हें लोग सीधे नियंत्रित कर रहे हों, लेकिन ज्यादातर हिस्सा सामग्री खंगालने वाले टूल का होगा। वेबसाइट संचालक ’रोबोट्स डॉट टीएक्सटी’ के जरिए ’एआई क्रॉलर’ से अपनी वेबसाइट से दूर रहने के लिए कह सकते हैं-लेकिन कुछ एआई कंपनियां इस अनुरोध को नजरअंदाज भी कर सकती हैं।

अगर एआई कंपनियां इस अनुरोध का सम्मान करती हैं तो एक अलग समस्या पैदा हो सकती है। गलत जानकारी वाली वेबसाइट ’एआई क्रॉलर’ को रोकने की संभावना कम रखती हैं। ऐसे में एआई के जवाबों को उच्च गुणवत्ता वाले स्रोतों से जानकारी मिलने की संभावना भी कम हो जाएगी।

निकट भविष्य में क्या होने वाला है

आने वाले समय में एक ऐसी स्थिति की चर्चा हो रही है, जिसे ’गूगल जीरो’ कहा जा रहा है। यह वह दिन होगा जब गूगल से वेबसाइट पर पहुंच पूरी तरह खत्म हो जाएगी। इस लेख के लेखकों में से एक जैसे कुछ पुराने इंटरनेट उपयोगकर्ता अब भी एआई के जवाबों की पुष्टि करने के लिए स्रोत की वेबसाइट पर जा सकते हैं, लेकिन एआई द्वारा दिए जा रहे संक्षिप्त जवाबों के कारण ऐसे लोगों की संख्या तेजी से घट रही है।

विकिपीडिया के एक अध्ययन से भी इसकी पुष्टि होती है। अध्ययन में पाया गया कि अंग्रेजी में गूगल पर एआई के संक्षिप्त जवाब शुरू होने के बाद वेबसाइट पर व्यस्तता तेजी से घटी है। दूसरी भाषाओं में भी एआई के संक्षिप्त जवाब शुरू किए जाने के बाद यही रुझान देखने को मिला। किसी जवाब के लिए वेबसाइट पर जाने की जरूरत ही न पड़ना सूचना तलाशने वालों के लिए सुविधाजनक लग सकता है, लेकिन इसकी तस्वीर इतनी सरल नहीं है।

अब कई वेबसाइट ’एआई क्रॉलर’ को पूरी तरह रोक रही हैं। जो वेबसाइट संचालक ’एआई क्रॉलर’ को रोकते हैं, उनके गूगल ’एआई ओवरव्यू’ के जवाबों में स्रोत के रूप में शामिल होने की संभावना कम हो जाती है। ऐसा तब भी हो सकता है जब एआई टूल जवाब तैयार करने के लिए उनकी सामग्री तक ’रिट्रीवल-ऑगमेंटेड जनरेशन’ नाम की तकनीक के जरिए पहुंच बना सकें।

सामग्री तैयार करने वालों को उनकी सामग्री के इस्तेमाल का भुगतान करने के लिए ’धन देकर सामग्री खंगालने’ जैसी वैकल्पिक व्यवस्था का सुझाव भी दिया गया है, लेकिन इसे अब तक ज्यादा समर्थन नहीं मिला है।

क्लाउडफ्लेयर पर एआई क्रॉलर होगा बंद

क्लाउडफ्लेयर की सेवाओं का इस्तेमाल करने वाली वे वेबसाइट 15 सितंबर से ’एआई क्रॉलर’ को स्वत: रूप से रोक देंगी जिनके पेज पर विज्ञापन हैं और जिनसे सामग्री तैयार करने वालों को कमाई होती है।

इसका मतलब है कि दुनिया की शीर्ष वेबसाइट में से 30 प्रतिशत तक गूगल के ’एआई ओवरव्यू’ के संक्षिप्त जवाबों में दिखाई नहीं देंगी। इसका यह भी अर्थ है कि एआई को प्रशिक्षित करने के लिए इस्तेमाल की जा रही सामग्री का एक बड़ा हिस्सा खुद एआई द्वारा तैयार किया गया पाठ होगा।

आपके लिए इसका क्या मतलब है?

जब आप कोई जानकारी तलाशेंगे तो इसका सबसे बड़ा असर यह हो सकता है कि कम से कम निकट भविष्य में एआई के संक्षिप्त जवाबों की गुणवत्ता गिर जाए। इंटरनेट की नई आर्थिक व्यवस्था अभी तय हो रही है और इस बदलाव के दो प्रमुख कारण हैं। पहला, उच्च गुणवत्ता वाली सामग्री के एआई के संक्षिप्त जवाबों में शामिल होने की संभावना घट रही है। हाल के एक अध्ययन में पाया गया कि एआई आधारित सर्च टूल द्वारा इस्तेमाल किए जाने वाले करीब छह में से एक स्रोत की वेबसाइट खुद एआई द्वारा तैयार की गई है।

दूसरा कारण यह है कि जैसे-जैसे एआई मॉडल को प्रशिक्षित करने के लिए एआई द्वारा तैयार किए गए पाठ का इस्तेमाल बढ़ेगा, उनके जवाबों की गुणवत्ता भी गिर सकती है। इसे ’मॉडल कोलैप्स’ कहा जाता है। ऐसे में वे सर्च इंजन ज्यादा भरोसेमंद साबित हो सकते हैं, जो एआई पर कम निर्भर हैं।

हालांकि चुनौती ऐसे सर्च इंजन को ढूंढने की है, जो एआई आधारित ’क्रॉलर’ का इस्तेमाल न करता हो। ऐसे सर्च इंजन मौजूद हैं। ’जेडीनेट’ ने मोजीक की सिफारिश की है, जबकि पीसीमैग ने ब्रेव को बेहतर विकल्प बताया है। ’बैन द बॉट्स’ ने भी ऐसे कई सर्च इंजन की सूची दी है, जिनमें ब्लॉग जैसी ’छोटे निर्माताओं’ की सामग्री के लिए विशेष रूप से बनाया गया एक सर्च इंजन भी शामिल है।