robots.txt टेस्टर टूल की मदद से पता चलता है कि robots.txt फ़ाइल, आपकी साइट पर किसी यूआरएल के लिए, Google के वेब क्रॉलर को ब्लॉक करती है या नहीं. उदाहरण के लिए, आप इस टूल का इस्तेमाल करके यह जांच सकते हैं कि Googlebot-Image क्रॉलर, किसी इमेज के उस यूआरएल को क्रॉल कर सकता है या नहीं जिसे आप Google Images के खोज नतीजों से ब्लॉक करना चाहते हैं.
आप robots.txt टेस्टर टूल में, कोई यूआरएल सबमिट कर सकते हैं. robots.txt फ़ाइल की जांच करने के लिए, यह टूल Googlebot की तरह काम करता है. यह इस बात की भी पुष्टि करता है कि आपका यूआरएल सही तरीके से ब्लॉक किया गया है या नहीं.
robots.txt फ़ाइल की जांच करना
- अपनी साइट के लिए टेस्टर टूल खोलें और
robots.txtकोड को स्क्रोल करें. ऐसा करके, आप हाइलाइट की गई, सिंटैक्स से जुड़ी चेतावनियों और लॉजिक की गड़बड़ियों की पहचान कर पाएंगे. सिंटैक्स से जुड़ी चेतावनियों और लॉजिक की गड़बड़ियों की संख्या, एडिटर के नीचे दिखती है. - पेज के सबसे नीचे मौजूद टेक्स्ट बॉक्स में, अपनी साइट के किसी पेज का यूआरएल टाइप करें.
- टेक्स्ट बॉक्स की दाईं ओर मौजूद ड्रॉप-डाउन सूची से, उस उपयोगकर्ता एजेंट को चुनें जिसे आप इस्तेमाल करना चाहते हैं.
- उपयोगकर्ता एजेंट, यूआरएल को ऐक्सेस कर सकता है या नहीं, इसकी जांच करने के लिए जांचें बटन पर क्लिक करें.
- जांचें बटन पर क्लिक करके यह देखें कि अब यूआरएल की स्थिति स्वीकार किया गया है या ब्लॉक किया गया है. इससे, आपको यह पता चलता है कि Google के वेब क्रॉलर उस यूआरएल को क्रॉल कर सकते हैं या नहीं.
- पेज पर दी गई फ़ाइल में बदलाव करें और ज़रूरत के हिसाब से दोबारा जांच करें. ध्यान दें कि पेज में किए गए बदलाव, आपकी साइट पर सेव नहीं होते! अगला चरण देखें.
- अपनी साइट पर दी गई robots.txt फ़ाइल में किए गए बदलावों को कॉपी करें. यह टूल आपकी साइट पर मूल फ़ाइल में बदलाव नहीं करता. यह सिर्फ़ टूल में होस्ट की गई कॉपी की जांच करता है.
robots.txt टेस्टर टूल की सीमाएं:
- यह टूल सिर्फ़ यूआरएल-प्रीफ़िक्स प्रॉपर्टी के साथ काम करता है. यह डोमेन प्रॉपर्टी के साथ काम नहीं करता.
- टूल एडिटर में किए गए बदलाव, वेब सर्वर पर अपने-आप सेव नहीं होते. इसके लिए, कॉन्टेंट को एडिटर से कॉपी करके, अपने सर्वर में सेव की गई
robots.txtफ़ाइल में चिपकाना पड़ता है. - robots.txt टेस्टर टूल, आपकी
robots.txtफ़ाइल की जांच, सिर्फ़ Google के उपयोगकर्ता एजेंट या Googlebot जैसे वेब क्रॉलर के साथ करता है. हम यह अनुमान नहीं लगा सकते कि अन्य वेब क्रॉलर आपकीrobots.txtफ़ाइल को कैसे पढ़ते, पार्स करते, और खोजते हैं.
