Robots.txt Kontrolü

robots.txt dosyanızı okuyun; sitemap bildirimlerini ve kritik engelleme kurallarını kontrol edin.

robots.txt bulundu HTTP 200

uzmantescil.com.tr

Sitemap: 1
Disallow: 0
Allow: 1

Bildirilen sitemap’ler

https://www.uzmantescil.com.tr/sitemap.xml

Dosya içeriği

User-agent: *
Allow: /

Sitemap: https://www.uzmantescil.com.tr/sitemap.xml

Tüm araçlar Whois Sorgula

robots.txt kontrolü ne gösterir?

robots.txt, botlara hangi yolların taranabileceğini söyler. Araç dosyayı indirir, HTTP kodunu, Sitemap satırlarını, Allow ve Disallow sayılarını ve ham metni gösterir. Yanlış bir Disallow: / kuralı sitenin tamamını taramadan çıkarır. Dosyanın yokluğu her yolun taranabileceği anlamına gelir; bu her zaman hata değildir.

Yönetim panelini robots ile gizlemek yetmez. Panelin şifresi olmalıdır. robots adresi duyurur.
Sitemap satırı, haritanın yerini tüm botlara bildirir. Harita yoksa keşif yavaşlar, sıra doğrudan düşmez.
Googlebot ile AdsBot kurallarını karıştırmayın. Reklam botunu kapatmak kampanyayı etkiler.
Dosyayı değiştirdikten sonra Search Console’da robots testini de çalıştırın. Bu araç anlık içeriği okur.

Disallow indeks silmez

Disallow taramayı azaltır. Dizine girmiş bir adresi çıkarmak için noindex veya Search Console’dan kaldırma gerekir. Sadece robots’a yazıp “Google’dan sildim” demek yanlıştır. Hassas bir URL daha önce tarandıysa kopyası sonuçlarda kalabilir.

Sık sorulan sorular

robots.txt ne işe yarar?

Botlara hangi yolların taranacağını söyler. Araç içeriği, sitemap satırlarını ve Allow/Disallow sayılarını gösterir.

Sitemap zorunlu mu?

Zorunlu değildir. Büyük sitelerde keşfi hızlandırır. Satır robots içinde durabilir.

Dosya yoksa sorun mu?

Botlar varsayılan olarak tarayabilir. Gizlilik için robots değil, kimlik doğrulama kullanın.

Disallow sıra düşürür mü?

Engellenen sayfa taranmaz. Yanlışlıkla ana sayfayı kapatmak görünürlüğü bitirir. Doğru bir Disallow, gereksiz parametreleri tarama dışı bırakır.

Ham metin neden önemli?

Yorum satırı, yazım hatası ve birden fazla User-agent bloğu sayılarda kaybolur. Metnin kendisini okuyun.