Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt dosyası hakkında bilmeniz gereken temel konuları bu rehberde ele alıyoruz. Robots.txt nedir, neden önemlidir, nasıl oluşturulur ve nasıl test edilir? Özellikle web sitesi yönetenlerin ve SEO çalışması yapanların karşılaştığı bu sorulara, uygulanabilir örneklerle cevap verelim.

Google ve diğer arama motorları, web sayfalarını keşfetmek ve içeriklerini anlamak için bot veya crawler olarak adlandırılan tarayıcılardan yararlanır. Bir sayfanın taranması, o sayfanın mutlaka arama sonuçlarına ekleneceği anlamına gelmez. Tarama ve dizine ekleme (indeksleme), birbirinden farklı aşamalardır.

Bazen web sitemizdeki belirli dizinlerin veya dosyaların bu botlar tarafından taranmasını istemeyebiliriz. İşte robots.txt, tarayıcılara hangi URL yollarına erişebileceklerini bildirmemizi sağlar. Ancak önemli bir ayrıntı var: Robots.txt, bir sayfanın Google’da görünmesini kesin olarak engelleyen bir araç değildir.

Robots.txt Dosyası Nedir?

Robots.txt, bir web sitesinin kök adresinde bulunan ve kurallara uyan arama motoru botlarına tarama talimatları veren düz metin dosyasıdır. Örneğin https://www.sefagedik.com.tr/robots.txt adresi, ilgili sitenin robots.txt dosyasının bulunması beklenen konumdur.

Bu dosyadaki kurallar, belirli dizinlerin taranmasına izin vermek veya taranmasını sınırlandırmak için kullanılır. “Peki bazı sayfaların taranmasını neden engellemek isteyelim?” diye sorabilirsiniz. Çok sayıda benzer URL üreten filtreleme sayfaları, belirli teknik dizinler veya arama motorları için gereksiz tarama yükü oluşturan adresler buna örnek olabilir. Bununla birlikte her etiket, yorum veya profil sayfasını otomatik olarak engellemek doğru değildir; karar sitenin yapısına göre verilmelidir.

Gizli veya özel bilgiler için robots.txt kullanılmamalıdır. Çünkü dosyanın kendisi herkese açıktır ve bütün botlar kurallara uymayabilir. Bir sayfanın arama sonuçlarında yer almasını istemiyorsanız uygun koşullarda noindex kullanabilir; kişisel ya da gizli içerikleri korumak için erişim yetkilendirmesine başvurabilirsiniz. Bu ayrım, SEO çalışmalarında yapılan önemli teknik hataların önüne geçer.

Robots.txt Dosyası Neden Önemlidir?

Arama motorlarının kurallara uyan tarayıcıları, bir sitenin robots.txt dosyasını kontrol ederek hangi adresleri tarayabileceklerini belirler. Bu nedenle tek bir yanlış Disallow kuralı bile taranmasını istediğiniz sayfalara erişimi sınırlandırabilir. Örneğin site genelinde yanlışlıkla Disallow: / kullanılması, taramayı büyük ölçüde durdurabilir.

Robots.txt özellikle çok sayıda URL barındıran sitelerde gereksiz tarama isteklerini azaltmaya yardımcı olabilir. Ancak birkaç sayfanın taranmasını engellemenin diğer sayfaları otomatik olarak üst sıralara taşıyacağı düşünülmemelidir. Küçük ve düzenli güncellenen sitelerde çoğu zaman doğru site haritası, erişilebilir sayfalar ve kaliteli içerik daha öncelikli konulardır.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt oluşturmak için robots.txt adlı düz bir metin dosyası hazırlanır ve web sitesinin kök dizininden erişilebilir hâle getirilir. Dosya, ilgili alan adı ve protokol için geçerlidir. WordPress kullanıyorsanız fiziksel bir dosya bulunmasa bile WordPress veya bir SEO eklentisi sanal robots.txt çıktısı oluşturabilir. Bu yüzden önce mevcut dosyanızı kontrol etmenizde fayda var.

WordPress kullanan bir site için başlangıç örneği şöyle olabilir:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.sefagedik.com.tr/sitemap.xml

Bu örnek her siteye olduğu gibi uygulanmamalıdır. Özellikle Sitemap satırındaki adresin gerçekten çalışan site haritanıza işaret ettiğini kontrol edin. Kullandığınız eklentiye göre site haritası adresi /sitemap_index.xml gibi farklı olabilir. WordPress dışında bir altyapı kullanıyorsanız da /wp-admin/ yolunu aynen kopyalamanız gerekmez.

Komutları kısaca açıklayalım:

User-agent: Kuralların hangi tarayıcıya uygulanacağını belirtir. * işareti, özel olarak tanımlanmamış tüm uyumlu tarayıcıları kapsar; kendi başına bütün dosyaların taranmasına izin veren bir komut değildir.

Disallow: Tarayıcının erişmemesi istenen URL yolunu belirtir. Örnekte /wp-admin/ dizini için tarama kısıtlaması tanımlanmıştır.

Allow: Daha kapsamlı bir engellemenin içinde kalan belirli yolların taranmasına izin vermek için kullanılabilir. WordPress örneğinde admin-ajax.php için istisna tanımlanmıştır.

Sitemap: XML site haritasının tam adresini belirtir. Bu satır arama motorlarının site haritasını keşfetmesine yardımcı olur; URL’lerin mutlaka dizine ekleneceğini garanti etmez.

Komutları elle hazırlamak istemiyorsanız bir robots.txt oluşturucusundan yararlanabilirsiniz. Örneğin seoptimer.com/robots-txt-generator aracını kullanabilirsiniz. Ancak araçların ürettiği kuralları sitenizin yapısına göre kontrol etmeden yayımlamayın.

Google Search Console Robots.txt Test Aracı

Robots.txt dosyanızı hazırladıktan sonra doğru okunup okunmadığını kontrol etmelisiniz. Google Search Console’un Ayarlar bölümündeki robots.txt raporu, Google’ın tespit ettiği dosyaları, son tarama zamanlarını ve karşılaşılan bazı hata veya uyarıları görmenizi sağlar.

Raporda bir hata görürseniz önce robots.txt dosyanızın erişilebilir olup olmadığını ve ilgili kuralların doğru yazılıp yazılmadığını inceleyin. Ardından gerekli değişiklikleri dosyanın yönetildiği yerden yapın. Search Console üzerinden raporu incelemek, sunucunuzdaki robots.txt içeriğini doğrudan düzenlemek anlamına gelmez.

Web yöneticilerinin sık kullandığı SEO araçları arasında yer alan Google Search Console’daki ilgili rapora search.google.com/search-console/settings/robots-txt adresinden ulaşabilirsiniz. Belirli bir sayfanın Google tarafından taranıp taranamayacağını ayrıca URL Denetimi ile değerlendirmek de faydalıdır.

SEO ve Robots.txt

Robots.txt dosyasının SEO ile ilişkisi, arama motorlarının sitenizi hangi kapsamda tarayabildiğiyle ilgilidir. Doğru yapılandırılan bir dosya gereksiz tarama isteklerini azaltabilir. Buna karşılık önemli sayfaları, görselleri veya sayfanın görüntülenmesi için gereken dosyaları yanlışlıkla engellemek arama motorlarının içeriğinizi anlamasını zorlaştırabilir.

Burada sık karşılaşılan kavramlardan biri crawl budget, yani tarama bütçesidir. Google açısından bu kavram, botların bir siteyi tarama kapasitesi ve tarama isteğiyle ilişkilidir. Özellikle çok büyük veya sık güncellenen sitelerde önem kazanır. Her web sitesinin mutlaka robots.txt kurallarıyla tarama bütçesi optimizasyonu yapması gerekmez.

Kopya veya birbirine çok benzeyen sayfalar söz konusu olduğunda da her URL’yi Disallow ile engellemek doğru çözüm değildir. Bazı durumlarda yönlendirme, kanonik URL (canonical) veya noindex gibi yöntemler daha uygundur. Ayrıca robots.txt ile taranması engellenen bir sayfadaki noindex talimatı bot tarafından görülemeyebilir. Bu nedenle önce neyi çözmek istediğinizi belirleyin: taramanın sınırlandırılmasını mı, yoksa dizine eklenmenin engellenmesini mi?

Robots.txt dosyası SEO başarısını tek başına belirlemez. Teknik erişilebilirlik, site haritası, içerik kalitesi ve sayfaların kullanıcıya sunduğu değer birlikte ele alınmalıdır.

Robots.txt ile Sitemap İlişkisi

Robots.txt ile XML site haritası farklı görevler üstlenir. Robots.txt hangi adreslerin taranabileceğiyle ilgili kuralları belirtirken sitemap, arama motorlarının keşfetmesini istediğiniz önemli URL’leri listelemeye yardımcı olur. Bu iki yapı birbiriyle uyumlu olduğunda teknik SEO açısından daha sağlıklı bir temel oluşur.

Robots.txt içinde site haritasının adresini belirtmek, botların bu dosyayı bulmasını kolaylaştırır. Ancak bu işlem tarama hızını veya dizine eklenmeyi doğrudan ve kesin biçimde artırmaz. Site haritasında listelenen önemli sayfaların robots.txt ile yanlışlıkla engellenmediğinden emin olmanız gerekir.

Özetle, robots.txt ile sitemap birbirini tamamlayan araçlardır; her ikisinin de doğru yapılandırılması önemlidir, ancak tek başlarına sıralama yükseltme yöntemi değildir.

Örnek Robots.txt Kullanımları

Komutların nasıl çalıştığını pekiştirmek için birkaç kullanım örneğine bakalım. Örnekleri doğrudan canlı sitenize uygulamadan önce sonuçlarını kontrol edin.

User-agent: *
Disallow: /

• User-agent: * tüm uyumlu tarayıcılar için bir kural grubu tanımlar.
• Disallow: / bu tarayıcıların sitenin tamamını taramasını engeller. Canlı bir sitede yanlışlıkla kullanılması ciddi bir hatadır.

User-agent: *
Allow: /

• Kural grubu tüm uyumlu tarayıcıları kapsar.
• Allow: / bütün URL yollarının taranmasına izin verir. Bu, tarayıcıların mutlaka bütün sayfaları ziyaret edeceği veya dizine ekleyeceği anlamına gelmez.

User-agent: Googlebot
Disallow: /seo
Allow: /sefa-gedik/seo

• Kurallar Googlebot için tanımlanmıştır.
• Disallow: /seo, adres yolu /seo ile başlayan URL’lerin taranmasını engeller.
• /sefa-gedik/seo yolu zaten /seo ile başlamadığı için bu örnekteki Allow satırı gerekli değildir. Bir engelin içinde istisna tanımlamak için daha özel, gerçekten engellenen yolun içinde kalan bir Allow kuralı kullanılmalıdır.

User-agent: Googlebot-Image
Disallow: /*.jpg$

Bu örnekte Google’ın görsel tarayıcısına, URL yolu .jpg ile biten dosyaları taramaması söylenir. * birden fazla karakteri, $ ise yolun sonunu eşleştirmek için kullanılır. Görsellerin Google’da görünmesini istiyorsanız bu tür kuralları dikkatle değerlendirin.

Allow ve Disallow Arasındaki Fark

Robots.txt içindeki iki temel komut olan Disallow, taranması istenmeyen URL yollarını; Allow ise taranmasına izin verilen yolları tanımlar. Ancak Allow her durumda Disallow kuralından üstün değildir.

Google, bir URL’yle eşleşen kurallar arasında genel olarak en uzun, yani en özel eşleşmeyi dikkate alır. Aynı düzeyde çakışan kurallarda ise daha az kısıtlayıcı olan, yani Allow uygulanır. Bu yüzden kuralların sırası yerine, yazılan URL yollarının neyi kapsadığını doğru anlamak önemlidir.

Bir sayfanın arama sonuçlarına eklenmesini engellemek istiyorsanız yalnızca Disallow yazmanız yeterli olmayabilir. Çünkü bot sayfayı taramasa bile URL’yi başka bağlantılardan öğrenebilir. İndeksleme kontrolü ve tarama kontrolünü birbirine karıştırmayın.

Arama Motorları Botları (Crawler) Listesi

Web sitelerini ziyaret eden botlar yalnızca geleneksel arama motorlarına ait değildir. SEO analiz araçları, sosyal ağlar, bağlantı önizleme servisleri ve yapay zekâ destekli hizmetler de farklı amaçlarla tarama veya erişim gerçekleştirebilir.

Aşağıdaki listede yaygın olarak karşılaşılan veya belirli hizmetlerde kullanılan bot adları yer alıyor. Hepsi arama motoru sıralaması için çalışan botlar değildir; bazıları içerik önizlemesi, site analizi ya da kullanıcı isteği üzerine erişim gibi farklı görevler üstlenir.

• Googlebot
• Bingbot
• Slurp
• Baiduspider
• YandexBot
• AhrefsBot
• SemrushBot
• MJ12Bot
• facebookexternalhit
• Twitterbot
• LinkedInBot
• Slackbot
• Pinterestbot
• Pingdom.com_bot
• UptimeRobot
• ChatGPT-User
• OAI-SearchBot
• Applebot
• PetalBot
• Sogou Spider
• Exabot

Robots.txt dosyası, web sitenizin tarama kurallarını yönetmek için yararlı bir teknik araçtır. En doğru yaklaşım, önce sitenizde hangi URL’lerin taranmasını istediğinizi belirlemek, ardından kuralları hazırlamak ve yayımladıktan sonra Search Console üzerinden kontrol etmektir. Taramayı yönetmek, dizine eklemeyi kontrol etmek ve gizli bilgileri korumak birbirinden farklı ihtiyaçlardır; her biri için uygun yöntemi seçmelisiniz.