Robots.txt جنریٹر
سیکنڈوں میں درست robots.txt فائل بنائیں۔ چنیں کہ سرچ انجن کیا کرال کر سکتے ہیں، /admin/ جیسے فولڈر بلاک کریں، اپنا سائٹ میپ شامل کریں، کرال میں وقفہ رکھیں، اور چاہیں تو AI ٹریننگ کرالرز بلاک کریں۔ اپ لوڈ کے لیے تیار فائل ڈاؤن لوڈ کریں۔
robots.txt
Robots.txt جنریٹر کیسے استعمال کریں
- چنیں کہ کرالرز پوری سائٹ دیکھ سکتے ہیں یا نہیں۔
- بلاک کرنے والے فولڈر یا صفحات اور اپنے سائٹ میپ کا پتہ لکھیں۔
- robots.txt ڈاؤن لوڈ کریں اور اپنی ویب سائٹ کے سب سے اوپر والے فولڈر میں اپ لوڈ کریں۔
آپ کا ڈیٹا آپ کے آلے پر رہتا ہے۔ یہ ٹول مکمل طور پر آپ کے براؤزر میں چلتا ہے۔ آپ جو لکھتے یا پیسٹ کرتے ہیں وہ ہمارے سرور پر نہیں بھیجا جاتا اور نہ محفوظ ہوتا ہے۔ ہماری پرائیویسی پالیسی پڑھیں۔
اکثر پوچھے جانے والے سوالات
robots.txt کہاں رکھی جاتی ہے؟
آپ کی ویب سائٹ کے سب سے اوپر والے فولڈر میں، تاکہ یہ example.com/robots.txt پر کھلے۔ InfinityFree اور زیادہ تر ہوسٹس پر یہ htdocs یا public_html فولڈر ہے۔
کیا robots.txt صفحات کو Google سے چھپاتی ہے؟
مکمل طور پر نہیں۔ یہ کرالرز سے صفحات نہ دیکھنے کو کہتی ہے، لیکن اگر دوسری سائٹیں بلاک شدہ صفحے کو لنک کریں تو وہ پھر بھی نتائج میں آ سکتا ہے۔ صفحے کو سرچ نتائج سے باہر رکھنے کے لیے noindex میٹا ٹیگ استعمال کریں۔
کیا مجھے AI کرالرز بلاک کرنے چاہئیں؟
یہ آپ کی مرضی ہے۔ GPTBot اور CCBot جیسے کرالرز بلاک کرنا AI کمپنیوں سے کہتا ہے کہ آپ کے صفحات ٹریننگ کے لیے استعمال نہ کریں۔ اس سے Google یا Bing کے سرچ نتائج پر اثر نہیں پڑتا۔