Robots.txt जनरेटर
सेकंडों में सही robots.txt फ़ाइल बनाएँ। चुनें कि सर्च इंजन क्या क्रॉल कर सकते हैं, /admin/ जैसे फ़ोल्डर ब्लॉक करें, अपना साइटमैप जोड़ें, क्रॉल में देरी रखें, और चाहें तो AI ट्रेनिंग क्रॉलर ब्लॉक करें। अपलोड के लिए तैयार फ़ाइल डाउनलोड करें।
robots.txt
Robots.txt जनरेटर कैसे इस्तेमाल करें
- चुनें कि क्रॉलर पूरी साइट देख सकते हैं या नहीं।
- ब्लॉक करने वाले फ़ोल्डर या पेज और अपने साइटमैप का पता लिखें।
- robots.txt डाउनलोड करें और अपनी वेबसाइट के सबसे ऊपर वाले फ़ोल्डर में अपलोड करें।
आपका डेटा आपके डिवाइस पर रहता है। यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आप जो लिखते या पेस्ट करते हैं वह हमारे सर्वर पर नहीं भेजा जाता और न सेव होता है। हमारी प्राइवेसी पॉलिसी पढ़ें।
अक्सर पूछे जाने वाले सवाल
robots.txt कहाँ रखी जाती है?
आपकी वेबसाइट के सबसे ऊपर वाले फ़ोल्डर में, ताकि यह example.com/robots.txt पर खुले। InfinityFree और ज़्यादातर होस्ट पर यह htdocs या public_html फ़ोल्डर है।
क्या robots.txt पेजों को Google से छिपाती है?
पूरी तरह नहीं। यह क्रॉलर से पेज न देखने को कहती है, लेकिन अगर दूसरी साइटें ब्लॉक किए गए पेज को लिंक करें तो वह फिर भी नतीजों में आ सकता है। पेज को सर्च नतीजों से बाहर रखने के लिए noindex मेटा टैग इस्तेमाल करें।
क्या मुझे AI क्रॉलर ब्लॉक करने चाहिए?
यह आपकी मर्ज़ी है। GPTBot और CCBot जैसे क्रॉलर ब्लॉक करना AI कंपनियों से कहता है कि आपके पेज ट्रेनिंग के लिए इस्तेमाल न करें। इससे Google या Bing के सर्च नतीजों पर असर नहीं पड़ता।