robots.txt Oluşturucu
Arama motoru botları için izin ve engelleme kurallarını seçerek robots.txt dosyanızı oluşturun.
Ücretsiz · üyelik gerektirmez · veriler tarayıcınızda kalır
Kurallar
User-agent: * Disallow: /admin Disallow: /api Disallow: /*?sayfa= Disallow: /tesekkurler Sitemap: https://sitemox.com/sitemap.xml
robots.txt taramayı engeller, dizine eklenmeyi tek başına engellemez. Bir sayfanın arama sonuçlarında görünmemesi için sayfaya noindex etiketi ekleyin ve taramayı açık bırakın.
robots.txt Oluşturucu nedir?
robots.txt, botlara sitenizin hangi bölümlerini tarayabileceklerini bildirir. Yanlış yazılmış tek bir satır tüm sitenin taranmasını durdurabilir. Bu araç yaygın senaryolar için hazır şablonlar sunar, sitemap satırını ekler ve isterseniz yapay zekâ botlarını engeller.
Nasıl kullanılır?
- 1Sitenize uygun şablonu seçin.
- 2Engellemek istediğiniz yolları ve sitemap adresini belirtin.
- 3Dosyayı indirip kök dizine robots.txt adıyla yükleyin.
Sık sorulan sorular
robots.txt sayfayı Google'dan tamamen kaldırır mı?+
Hayır. Taramayı engeller ama dizine eklenmeyi engellemez. Sayfanın sonuçlarda görünmemesi için noindex etiketi kullanın ve taramayı açık bırakın.
Yapay zekâ botlarını engellemeli miyim?+
İçeriğinizin dil modellerinin eğitiminde kullanılmasını istemiyorsanız engelleyebilirsiniz. Ancak yapay zekâ tabanlı aramalardan gelecek ziyaretçileri de kaybedebilirsiniz.
Dosyayı nereye koymalıyım?+
Yalnızca kök dizinde geçerlidir: https://alanadiniz.com/robots.txt. Alt klasörlere konulan dosyalar dikkate alınmaz.
Crawl-delay çalışıyor mu?+
Google bu satırı dikkate almaz; tarama hızını Search Console üzerinden ayarlamanız gerekir. Bing ve Yandex ise destekler.