robots.txt Oluşturucu

robots.txt Oluşturucu nedir?

robots.txt Oluşturucu, web tarayıcılarının ne getirebileceklerine karar vermek için sitenizin kökünde okuduğu robots.txt dosyasını yazan ücretsiz, tarayıcı içi bir araçtır. User-agent değerini ayarlar (varsayılan *), satır başına bir Disallow yolu ve varsa Allow istisnalarını listeler, isteğe bağlı olarak bir Crawl-delay ve Sitemap URL'si eklersiniz; araç tümünü doğru yönergelere dönüştürür. Ayrıca, iyi bilinen yapay zeka eğitim tarayıcılarını — GPTBot, ClaudeBot, CCBot ve Google-Extended — her biri için ayrı bir grup ekleyerek engelleyen bir onay kutusu ön ayarı içerir. Site sahipleri, SEO uzmanları ve geliştiriciler bunu bir siteyi yayınlarken, yönetici veya hazırlık (staging) yollarını arama motorlarından gizlerken ya da yapay zeka kazımasını reddederken kullanır. Sonucu, alan adınızın kökünde robots.txt adlı bir dosyaya kopyalayın veya İndir düğmesini kullanın.

robots.txt Oluşturucu nasıl kullanılır

1. Kuralların geçerli olduğu user-agent değerini girin veya tüm tarayıcılar için * olarak bırakın.
2. Engellenecek yolları Disallow kutusuna her satıra bir tane olacak şekilde yazın (örneğin /admin/ veya /private/).
3. Engellenen bir klasördeki alt yolları yeniden izinli kılmak için Allow istisnalarını her satıra bir tane olacak şekilde ekleyin.
4. İsteğe bağlı olarak saniye cinsinden bir crawl-delay ayarlayın ve tam site haritası URL'nizi yapıştırın.
5. İçeriğinizi kazımalarını önlemek için yapay zeka tarayıcı onay kutularını (GPTBot, ClaudeBot, CCBot, Google-Extended) işaretleyin.
6. Oluşturulan robots.txt dosyasını kopyalayın veya İndir'e tıklayın, ardından dosyayı sitenizin köküne yerleştirin.

Örnekler

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

GPTBot, ClaudeBot, CCBot, Google-Extended engelle

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sıkça sorulan sorular

robots.txt aslında ne işe yarar?

Sitenizin kökünde bulunan ve User-agent'a göre gruplanmış Allow ve Disallow kuralları kullanarak, uyumlu tarayıcılara hangi yolları isteyip isteyemeyeceklerini bildiren düz metin bir dosyadır. Bu bir zorlama değil, bir ricadır: Googlebot gibi düzgün davranan botlar buna uyar, ancak onu yok sayan araçların erişimini engellemez; bu yüzden gerçekten hassas verileri gizlemek için asla kullanmayın.

Yapay zeka tarayıcı engelleme ön ayarları nasıl çalışır?

Her onay kutusu, 'User-agent: GPTBot' ardından 'Disallow: /' gibi özel bir grup ekleyerek o tarayıcıdan hiçbir sayfayı getirmemesini ister. GPTBot OpenAI'nin tarayıcısı, ClaudeBot Anthropic'in, CCBot Common Crawl'dır ve Google-Extended içeriğinizin Google'ın yapay zeka modelleri için kullanımını denetler. Bir kutuyu işaretlemek grubunu ekler; işareti kaldırmak onu siler.

Allow ile Disallow arasındaki fark nedir?

Disallow bir tarayıcının istememesi gereken yol öneklerini listeler, Allow ise engellenen bir klasörün içindeki daha belirli bir alt yola yeniden izin verir. Örneğin, Allow: /files/public/ ile Disallow: /files/ klasörü engeller ancak public alt klasörünü taranabilir tutar. Her kutuya satır başına bir yol girin.

Oluşturulan dosyayı nereye koyarım?

Onu tam olarak robots.txt adında bir dosya olarak kaydedin ve https://yourdomain.com/robots.txt adresinden erişilebilir olması için alan adınızın köküne yükleyin. Tarayıcılar yalnızca oraya bakar; bir alt klasördeki robots.txt yok sayılır. Doğrudan kaydetmek için İndir düğmesini kullanın.

Yazdıklarımdan herhangi biri bir sunucuya gönderiliyor mu?

Hayır. robots.txt tamamen tarayıcınızda JavaScript ile oluşturulur. Yollarınız, user-agent'ınız, site haritası URL'niz ve seçimleriniz asla yüklenmez, saklanmaz veya iletilmez; bu yüzden özel veya yayın öncesi siteler için kurallar taslağı oluşturmak güvenlidir.