Googlebot, Google’ın web sayfalarını keşfetmek ve taramak için kullandığı otomatik web tarayıcısıdır. Bağlantıları izleyerek yeni sayfalar bulur, daha önce taradığı sayfalardaki değişiklikleri görmek için bu adreslere yeniden uğrar.
Googlebot Nedir?
Web robotu veya crawler olarak da adlandırılan Googlebot, erişebildiği sayfalardan veri toplar. Google bu verileri işleyerek hangi içerikleri arama dizinine ekleyeceğine karar verir. Dizine alınan sayfalar, ilgili aramalarda sonuçlar arasında görünebilir. Googlebot’un çalışma mantığını anlamak, arama motoru optimizasyonunun (SEO) teknik temelini kavramak açısından önemlidir.
Googlebot nasıl çalışır?
| Aşama | Ne olur? |
|---|---|
| Keşif | Google yeni URL’leri bağlantılardan ve site haritalarından öğrenir. |
| Tarama | Googlebot sunucudan sayfanın içeriğini ister. |
| Oluşturma (rendering) | Google, HTML’yi ve erişebildiği kaynakları kullanarak sayfayı işler. |
| Dizine ekleme | Google, işlenen içeriğin arama dizinine alınıp alınmayacağını değerlendirir. |
1. Taranacak URL’leri keşfeder
Google, taranacak adresleri daha önce ziyaret ettiği sayfalardaki bağlantılardan, XML site haritalarından, RSS akışlarından ve Google Search Console üzerinden bildirilen URL’lerden toplar. Googlebot bir sayfada yeni bir bağlantı bulduğunda bu adres de taranabilecek URL’ler listesine eklenir.
2. Öncelik verilen sayfaları tarar
Google, keşfettiği URL’leri önceliklendirir. Googlebot, tarama sırası gelen sayfa için sunucuya istek gönderir ve aldığı yanıtın bir kopyası işlenmek üzere saklanır. Google bu aşamada sayfanın HTML kodunu inceler ve sayfanın görüntülenmesi için gereken JavaScript ve CSS gibi kaynakları belirler.
3. Sayfanın görüntülenen hâlini işler
Google’ın sayfa oluşturma hizmeti, gerekli kaynakları kullanarak sayfayı bir tarayıcıda açılmış gibi işler. Bu aşamaya rendering denir. Google, JavaScript çalıştıktan sonra görünen içeriği ve bağlantıları da inceleyebilir. Bu işlem sırasında bulunan yeni adresler de tarama listesine döner.
4. Google, içeriği dizine eklemek üzere değerlendirir
Tarama, Googlebot’un sayfaya erişip içeriğini almasıdır. Dizine ekleme ise Google’ın işlediği içeriği değerlendirerek arama dizinine kaydetmesidir. Bir URL’nin taranmış olması, dizine ekleneceğini garanti etmez.
Googlebot’un türleri nelerdir?
Googlebot’un iki ana türü vardır. Googlebot Akıllı Telefon (Googlebot Smartphone), sayfalara mobil tarayıcı gibi erişir. Googlebot Masaüstü (Googlebot Desktop) ise masaüstü tarayıcısı gibi erişir. Kullanıcı aracısı (user agent), isteği gönderen yazılımın kendini tanıtmak için kullandığı bilgidir.
Google, mobil öncelikli dizine ekleme kapsamında bir sayfanın mobil sürümündeki içeriği esas alır. Tarama isteklerinin büyük bölümünü Googlebot Akıllı Telefon gönderir. Bu nedenle ana metnin ve önemli bağlantıların mobil sürümde de erişilebilir olması teknik SEO açısından önem taşır.
Akıllı telefon ve masaüstü tarayıcıları, robots.txt dosyasında aynı Googlebot adını kullanır. Bu dosyadan iki tarayıcıya ayrı kurallar veremezsiniz.
Google’ın görsel ve videolar için özel tarayıcıları da vardır. Googlebot Image görselleri, Googlebot Video ise videoları tarar.
Googlebot bir siteyi ne sıklıkla tarar?
Tarama sıklığı siteye ve sayfaya göre değişir. İçeriğin ne sıklıkla güncellendiği, sayfaya verilen bağlantılar ve sunucunun yanıt verme hızı tarama sıklığını etkileyebilir. Google’ın belirli bir süre içinde bir siteye ayırdığı tarama kapasitesi ve hangi adresleri taramak istediği, tarama bütçesini şekillendirir.
Googlebot’un sitenize ne zaman uğradığını görmek için Google Search Console’da Ayarlar → Tarama istatistikleri raporuna bakabilirsiniz. Belirli bir sayfayı kontrol etmek için URL Denetimi aracını kullanabilirsiniz. Sunucu günlükleri de hangi URL’ye ne zaman istek geldiğini ve sunucunun nasıl yanıt verdiğini gösterir.
Googlebot’un erişimi nasıl yönetilir?
Bir sayfanın taranmasını yönetmek ile arama sonuçlarında görünmesini yönetmek için farklı yöntemler kullanılır. Googlebot’un hangi adresleri tarayabileceğini belirlemek için robots.txt dosyasını doğru yapılandırmanız gerekir.
| Yöntem | İşlevi |
|---|---|
| robots.txt | Googlebot’un hangi adresleri tarayabileceğini belirtir. Bir URL’nin taranmasını engellemek, adresin arama sonuçlarından kaldırılmasını garanti etmez. |
| noindex | Google’a sayfayı dizine eklememesi gerektiğini bildirir. Googlebot’un bu talimatı okuyabilmesi için sayfaya erişebilmesi gerekir. |
| nofollow | Bir bağlantının takip edilmemesi yönünde ipucu verir. Google bu ipucunu göz ardı edebilir. |
| Şifre veya oturum açma zorunluluğu | Googlebot’un giriş gerektiren içeriğe erişmesini engeller. |
| Search Console’daki kaldırma aracı | Bir URL’yi Google arama sonuçlarında geçici olarak gizler. |
Googlebot’un sitenizi taramasını nasıl kolaylaştırırsınız?
- Önemli sayfalara site içinden bağlantı verin. Googlebot, daha önce bildiği sayfalardaki bağlantıları izleyerek yeni adreslere ulaşabilir.
- XML site haritanızı güncel tutun. Önemli URL’lerin yer aldığı site haritasını Google Search Console üzerinden gönderin.
- robots.txt dosyanızı ve noindex talimatlarını kontrol edin. Arama sonuçlarında görünmesini istediğiniz sayfaların taranabildiğini ve yanlışlıkla noindex ile işaretlenmediğini doğrulayın.
- Tarama sorunlarını inceleyin. Sunucu hataları, kırık bağlantılar ve birbirini izleyen yönlendirmeler Googlebot’un sayfalarınıza erişmesini zorlaştırabilir.
Bu kontroller, SEO çalışmaları teknik aşamalarında önemli bir yere sahiptir. Düzenli olarak yapılan tarama ve indeksleme kontrolleri, arama motorlarının önemli sayfalara erişmesini engelleyen sorunların belirlenmesine yardımcı olur.
Googlebot sayfanızı tarayamıyorsa neyi kontrol etmelisiniz?
| Belirti | Kontrol edilecek yer |
|---|---|
| Google sayfayı getiremiyor | URL Denetimi’nde canlı URL’yi test edin. robots.txt kurallarını ve sunucunun yanıtını kontrol edin. |
| Sayfa açılıyor ama ana içerik görünmüyor | Canlı testte oluşturulan sayfayı inceleyin. Ana içeriği yükleyen JavaScript veya CSS dosyalarının engellenip engellenmediğine bakın. |
| Sayfa taranmış ama dizinde görünmüyor | URL Denetimi’nde kayıtlı dizin durumunu inceleyin. Yanlışlıkla eklenen bir noindex talimatını kontrol edin. |
Googlebot HTML dosyasının ne kadarını indirir?
Google Arama Merkezi’nin Mart 2026 açıklamasına göre Googlebot, HTML isteğinde ilk 2 MB’a kadar olan kısmı işler. Sayfanın tamamı bu sınırı aşıyorsa sınırın sonrasındaki HTML alınmaz. Sayfanın oluşturulması için ayrıca istenen JavaScript ve CSS dosyalarının boyutu ayrı hesaplanır. Bu yüzden büyük satır içi kod blokları bulunan sayfalarda ana içeriğin HTML içinde nerede kaldığı önemlidir.
Bir isteğin gerçekten Googlebot’tan geldiği nasıl anlaşılır?
Sunucu günlüklerinde kullanıcı aracısı olarak Googlebot yazması, isteğin Google’dan geldiğini kanıtlamaz. İsteğin kaynak IP adresini Google’ın yayımladığı IP aralıklarıyla karşılaştırabilirsiniz.
Bir diğer yöntem, IP adresi için ters DNS sorgusu yapmaktır. Sonuç .googlebot.com ile bitiyorsa, bu alan adına ileri DNS sorgusu yapın ve dönen IP adresinin ilk adresle eşleştiğini kontrol edin.
Googlebot bir sayfayı taradığında sayfa dizine eklenir mi?
Googlebot sayfayı taradıktan sonra Google içeriği değerlendirir. Tarama, sayfanın dizine ekleneceğini garanti etmez.
Googlebot yeni bir sayfayı nasıl bulur?
Googlebot, daha önce taradığı sayfalardaki bağlantıları izleyerek yeni sayfalar bulabilir. XML site haritaları da Google’ın yeni URL’leri keşfetmesine yardımcı olur.
Googlebot’un sitemi taradığını nasıl anlarım?
Google Search Console’daki Tarama istatistikleri raporundan sitenize gelen tarama isteklerini görebilirsiniz. Tek bir sayfayı kontrol etmek için URL Denetimi aracını kullanabilirsiniz.
robots.txt bir sayfayı Google arama sonuçlarından kaldırır mı?
robots.txt taramayı yönetir. Bir sayfanın dizine eklenmesini önlemek için noindex kullanabilirsiniz. Googlebot’un bu talimatı görebilmesi için sayfanın taramaya açık olması gerekir.
Googlebot JavaScript ile yüklenen içeriği okuyabilir mi?
Evet. Google, oluşturma aşamasında JavaScript’i çalıştırabilir. Ana içeriğin görünüp görünmediğini Search Console’daki canlı URL testiyle kontrol edebilirsiniz.
Yeni bir sayfa için Google’dan tarama isteyebilir miyim?
Yönetebildiğiniz bir URL için Search Console’da URL Denetimi’ni açıp Dizine eklenmesini iste seçeneğini kullanabilirsiniz. İstek göndermek sayfanın hemen taranmasını veya dizine eklenmesini garanti etmez.
