Blog

Robots.txt Dosyası Nedir ve Neden Gereklidir?

Ekim 14, 2025

136

Robots.txt dosyası hakkında bilmeniz gereken her şey bu kapsamlı rehberin içerisinde yer alıyor. Robots.txt dosyası nedir, neden gereklidir, nasıl oluşturulur ve nasıl test edilir gibi en kritik sorularınıza bu rehber cevap veriyor. Arama motorlarında üst sıralarda yer almak isteyen herkes bu kritik sorularla muhatap oluyor.

Robots.txt Dosyası

Google ve diğer çeşitli arama motorları, kullanıcı deneyimini arttırmak amacıyla onlara en doğru bilgiyi en hızlı şekilde sunmayı hedefler. Bu doğrultuda, “bot” veya “crawler” diye adlandırılan yazılımlar web sitelerini hızlı bir şekilde tarayarak içerikleri dizinlerine yani arama sonuçlarına ekler.

Fakat her içeriğimizin bu botlar tarafından taranmasını istemiyor olabiliriz. Tam bu noktada robots.txt dosyası devreye giriyor, hangi içeriklerin taranıp taranmayacağına dair düzenlemeleri yapmamıza olanak sağlar.

İçindekiler

Robots.txt Dosyası Nedir?

Robots.txt dosyası arama motorlarının web site içeriklerini tarayan botlarına bazı talimatlar veren basit bir metin dosyasıdır. Bu talimatlardan kastımız hangi sayfaların arama motorlarına dizinine eklenip, hangi sayfaların ise eklenmeyeceğine dair kontrolleri sağladığımız düzenlemelerdir. “Neden bazı sayfaların dizinde görünmesini engellemek isteyelim?” diye bir soru muhakkak ki gelecektir, ancak bazı durumlarda bu çalışma oldukça gereklidir.

Örnek vermek gerekirse, arama motorlarının erişimini istemediğiniz bu sayfalar; özel içerikler, test ve deneme içerikleri, sistem dosyaları, bazı yazılımsal dosyalar olabilir. Ayrıca çok içeriğiniz olduğu zamanlarda ise taranma olasılığınızı ve verimliliğinizi arttırmak için bazı içerikleri engelleyebilirsiniz; örneğin etiket ve yorum sayfalarını. Bu çalışma ile arama motorları, web sitenizde öncelikli ve değerli içeriklere daha çok odaklanacaktır. Bu çalışma da SEO yani arama motoru optimizasyonu açısından son derece önemlidir ve size avantaj sağlar.

Robots.txt Dosyası Neden Önemlidir?

Arama motorları botları internet sitenize girmeden önce robots.txt dosyanızı kontrol eder. Buradaki yönlendirmeler, botların hangi sayfalara erişip erişmeyeceğini belirler. Bundan dolayı, robots.txt dosyasında yazdığınız her bir komutun doğru olması önemlidir. Yanlış yapılandırılmış bir robots.txt dosyası web sitenizin tamamını etkileyebilir. Bu SEO performansınız açısından son derece ciddi bir kayıp söz konusu olabilir

Ayrıca, önemsiz diye belirttiğimiz bazı içerikleri (örneğin; etiket, yorum, profil sayfaları vs.) taramaya kapatarak arama motorları botlarının gereksiz vakit harcamasını önleyebilirsiniz. Bu vesileyle, arama motorları web siteniz için ayırdığı kaynağı daha değerli sayfalara yönlendirirsiniz. Bu strateji ile arama sonuçlarında daha iyi sıralamalar elde edebilirsiniz. Doğru yapılandırılmış ve hazırlanmış bir robots.txt dosyası, her web sitesi için olmazsa olmazlardan olan SEO çalışmalarından biridir.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası oluşturmak oldukça kolaydır. Web sitenizin ana dizinine “robots.txt” dosyası adında bir metin dosyası eklemeniz ve içeriğine;

User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.sefagedik.com.tr/sitemap.xml

yazmanız yeterlidir. Wordpress kullanıyorsanız bu metin sizin için yeterli olacaktır. Wordpress değil de başka bir panel kullanıyorsanız /wp-admin/ kısmını yönetim paneliniz ile değiştirmeniz yeterli olacaktır.

Buradaki kod dizilimini sizler için kısaca açıklayalım.

User-agent: * ; tüm dosyaların tüm arama motorları tarafından taranmasına izin verdiğimiz koddur.

Disallow: /wp-admin/ kısmı ise taranmasını istemediğimiz bölümü ifade eder. Wordpress kullanmıyorsanız burayı kendi panelinizin uzantısı ile değiştirebilirsiniz.

Sitemap: site haritanızın dosya yolunu ifade ettiğiniz bölümdür.

Yukarıdaki bölümde ifade etmedik ancak çok sık kullanılan birimlerden biri de allow ifadesidir. Taranmasını özellikle istediğiniz bölümler bu kısımda ifade edilir.

Robots.txt Oluşturucu

Bu çalışma eğer sizler için yetersiz gelirse robots.txt dosyası oluşturmanız için kurulu hazır sistemler de mevcuttur. seoptimer.com/robots-txt-generator aracı ile robots.txt dosyanızı ekranda bulunan seçenekleri belirterek oluşturabilirsiniz.

Google Search Console Robots.txt Test Aracı

Robots.txt dosyanızı oluşturdunuz ancak bir sorun olduğunu düşünüyorsunuz veya ne zaman tarandığını öğrenmek istiyorsunuz. Google Search Console ‘de ayarlar bölümünde Robots.txt dosyanızın durumu hakkında bilgi içeren bir bölüm var.

Robots.txt Google Search Console

Bu bölümde robots.txt dosyanızda herhangi bir hata var ise hatanın detayları uyarı şeklinde panel üzerinden görüntülenebiliyor. Düzenlemesi gereken kısım belirtiliyor. Eğer bir hata gözlemleniyorsa dosyanızı açıp düzenlemeleri yapıp ana dizine tekrar yüklemesini gerçekleştirebilirsiniz.

Bir çok webmaster’ın SEO araçları kapsamında kullandığı Google Search Console, robots.txt dosyası hakkında da sizlere kapsamlı bilgiler sunuyor. search.google.com/search-console/settings/robots-txt buradan gerekli düzenlemeleri ve kontrolleri gerçekleştirebilirsiniz.

SEO ve Robots.txt

Robots.txt dosyası oluşturmak, arama motorları optimizasyonu yani SEO açısından doğrudan etkilere sahip bir konudur. Bu dosya arama motorlarının web sitenizin hangi bölümlerini tarayacağı veya taramayacağını belirler. Doğru yapılandırılan robots.txt dosyası tarama kapasitenizi optimize eder, indekslenme hızınızı artırır ve gereksiz içeriklerin arama sonuçlarındaki indekslerinizi etkilemesinin önüne geçer.

Her arama motoru her siteye belirli bir tarama limiti ayırır. Crawl Budget dediğimiz bu limit botların bir sitede ne kadar sayfa tarayacağını belirler. Önemsiz ve düşük kalitede bazı sayfaların robots.txt ile engellenmesi bu limitinizi doğru kullanmanızı sağlar.

Kopya ve gereksiz sayfalarınızın olması durumunda bunları da aynı şekilde robots.txt dosyası ile engelleyerek tarama limitinizi doğru kullanabilirsiniz.

Arama motorlarınızın web sitenizi daha iyi anlamasını doğru kurgulanmış bir robots.txt dosyası ile sağlayabilirsiniz. Site haritasının da içeriğinde yer aldığı bu dosya SEO açısından oldukça verimli olacaktır.

Robots.txt ile Sitemap İlişkisi

Bir arama motoru botu web sitenizde ilk ziyaret edeceği yer robots.txt dosyası olacaktır demiştik. Bu bağlamda robots.txt dosyası içerisine sitemap yolunun eklenmesi arama motorlarının web sitenizi taramaları açısından kolaylık sağlayacaktır. Robots.txt ve sitemap dosyaları birbirini tamamlayan iki önemli SEO unsurudur.

Doğrudan katkısı olacağını söylemek gerekir. Robots.txt dosyası içerisine eklemek sitenizin dizine eklenme sürecini hızlandırır ve botların sitenizi anlamasında yardımcı olur. Kısaca taranabilirliğini ve indeksleme verimliliğini artırır.

SEO performansınıza olumlu katkı sağlayacak bu konular küçük gibi görünse de herhangi bir yanlışlık yapılması durumunda arama sonuçlarında olumsuz sonuçlar doğurabilecek seviyeye gelebilir. Doğru hamleler yapılırsa da size SEO açısından ciddi manada katkı sağlayacaktır.

Örnek Robots.txt Kullanımları

Anlatılan bilgilerin pekişmesi adına komutlara dair bir kaç örnek kullanım gösterelim;

User-agent: *
Disallow: /

Web sitenin tüm arama motoru botları tarafından taranmasına izin veriliyor.
Arama motoru botlarının hiçbir sayfayı taramasına izin verilmiyor.

User-agent: *
Allow: /

Web sitenin tüm arama motoru botları tarafından taranmasına izin veriliyor.
Arama motoru botlarının her sayfanın taranmasına izin veriyor.

User-agent: Googlebot
Disallow: /seo
Allow: /sefa-gedik/seo

Web sitenin Google arama motoru botları tarafından taranmasına izin veriliyor.
/seo ile başlayan sayfalar taranmasın.
/sefa-gedik/seo sayfası taransın.

User-agent: Googlebot-Image
Disallow: /*.jpg$

Googlebot-Image botunun web sitedeki tüm .jpg dosyalarının taramasına izin verilmiyor.

Allow ve Disallow Arasındaki Fark

Robots.txt dosyasında kullanılan en önemli iki komut vardır. Bu komutlar Allow ve Disallow’dur. Disallow; hangi sayfaların arama motorları botları tarafından taranmayacağını belirlerken, Allow taranması istenilen sayfaları belirtir.

Eğer bir sayfa için aynı komut kullanılır ise; allow komutu önceliklidir. Bu iki komut trafik ışığı gibidir. Allow yeşil ışık anlamı taşırken, disallow’a kırmızı ışık denilebilir.

Önemli sayfaları dizine eklemek veya gereksiz sayfaların dizine eklenmesini engellemek istiyorsak robots.txt dosyasına eklenecek allow ve disallow komutlarını iyi belirlemek gerekir.