Googlebot Nedir? [2024 Güncel Rehberi]

Başarılı bir şekilde tamamlanmış güçlü bir SEO çalışması organik sıralamalarınızı yükseltmede size çok fayda sağlarken teknik SEO özellikle Googlebot optimizasyonu konusunda sizi bir adım ileriye taşıyacaktır. Bu nedenle web sitenizi Googlebot için optimize etmek zorunlu bir görevdir.

Googlebot temelde Google’ın web siteleri taramak ve dizine eklemek için görevlendirdiği botlardır. Ancak, konu tabii ki bununla sınırlı değil. Bu rehberde sizlere Googlebot nedir ve nasıl çalışır, önemi nedir ve web sitenize ne gibi faydaları olur anlatacağız. Keyifli okumalar!

Googlebot Nedir? Ne İşe Yarar?

Googlebot Nedir? Ne İşe Yarar?
Googlebot Nedir? Ne İşe Yarar?

Google gibi büyük arama motorlarının web siteleri nasıl keşfettiği ve SERP’te hangi sitenin diğerinden daha üst konumda sıralandığı gibi konular sizler için merak uyandırıcı olabilir. Bu cevabı da sizlere Googlebot verecektir. Hayır, reklam çalışmalarından bahsetmiyoruz. Tabii ki arama motorlarının kendilerine özgü çalışma prensipleri vardır ancak hiçbiri herhangi bir siteye sırf iyilik olsun diye üst konumlarda sıralamalar vermez.

Googlebot, Google’ın web’i taramak ve web sitelerini dizine eklemek için kullandığı bir bottur. Googlebot’u daha önce örümcek olarak da duymuş olabilirsiniz. Temelde ikisi de aynı şeydir. Googlebot’un görevi erişime izin veren her web sayfasını tarayıp o siteleri indekslemektir. Yani, bir web sitesi Googlebot tarafından dizine eklendikten sonra, kullanıcılar ilgili arama sorguları ile o web sitesini arama sonucu sayfalarında görebiliyor olacaktır.

Googlebot Nasıl Çalışır?

Googlebot Nasıl Çalışır?
Googlebot Nasıl Çalışır?

Bir web sayfasının nasıl sıralandığını anlamak için Google’ın nasıl çalıştığını bilmek önemlidir. Googlebot, tamamen rastgele taramalar yaparak çalışmaz. Aksine, botlar web’de daha önce keşfettikleri sayfaların veritabanlarından ve site haritalarından yola çıkarak daha sonra hangi siteleri tarayacaklarına dair ipuçları elde ederek keşif yaparlar. Kısacası, Googlebot bir web sitesini tararken yeni bağlantılar (dış bağlantılar) bulduğunda, bu bağlantıları otomatik olarak bir sonraki ziyaret edeceği web sayfalarının arasına ekler.

Ek olarak, Googlebot tarafından düzgün bir şekilde dizine eklenebilmeleri için web sayfalarınızın taranabilir olduğundan her zaman emin olmalısınız. Aksi takdirde bağlantılarınız taranıp dizine eklenmeyeceğinden arama sorgularında görünür olmayacaktır.

Googlebot Çeşitleri Nelerdir?

Google’ın crawler dediğimiz birçok farklı tarayıcı botu vardır ve her biri birbirinden farklı web sitelerinin taranmasına uygun olacak biçimde ve sayıda tasarlanmıştır. Bir web sitesi sahibi olarak, web sitenizi arada sırada her bir tarama botunun gerektirdiği yönergelere göre kurmanız gerekebilir. Eğer web sitenizin taranması için belirli botlara belirli yönergeler ya da meta komutlar oluşturmazsanız, hepsine aynı şekilde davranabilir ve bu sizin çıkarınıza olmayacaktır.

Google’ın kullandığı toplam 17 bot türü vardır:

  • APIs-Google
  • AdSense
  • AdsBot Mobile Web Android
  • AdsBot Mobile Web
  • Googlebot Image
  • Googlebot News
  • Googlebot Video
  • Googlebot Desktop
  • Googlebot Smartphone
  • Mobile Apps Android
  • Mobile AdSense
  • Feedfetcher
  • Google Read Aloud
  • Duplex on the web
  • Google Favicon
  • Web Light
  • Google StoreBot

Googlebot için Site Nasıl Optimize Edilir?

SEO çalışmaları web siteniz için tartışılamaz bir konumda dursa da, SEO optimizasyonu yapmadan önce arama sonucu sorgularındaki sıralamanızı sağlamak için önce web sitenizi Googlebot için optimize etmelisiniz. Web sitenizin Google tarafından doğru ve kolay bir şekilde dizine eklenmesini sağlamak için aşağıdaki tavsiyelere göz atın:

1- Robots.txt Dosyanızı Güncelleyin

Robots.txt Dosyanızı Düzenleyin
Robots.txt Dosyanızı Düzenleyin

Robots.txt dosyaları Googlebot’a yönergeler verme mantığı ile çalışır. Yani, Googlebot’un sahip olduğu tarama bütçesini nereye harcayacağını anlamasına yardımcı olur. Bu demek oluyor ki Google botlarının web sitenizdeki hangi sayfaları tarayıp hangilerini tarayamayacağına karar verebilirsiniz.

Google botlarının varsayılan çalışma şekli karşılaştığı her şeyi taramak ve dizine eklemektir. Bu nedenle, web sitenizin hangi sayfalarını veya bölümlerini engellediğiniz konusunda çok dikkatli olmalısınız. Robots.txt dosyaları bildiğiniz üzere botlara nereyi dizine eklememesi gerektiğini söyler. Bu nedenle, Google’ın web sitenizin ilgili kısımlarını dizine eklemesine izin vermek için robots.txt dosyanızı düzenlemeniz gerekebilir.

2- İç Linkler Kullanın

İç Linkler Kullanın
İç Linkler Kullanın

İlk kez ziyaret edeceğiniz bir yere gittiğinizi ancak telefonunuzun şarjı olmadığını ve yanınızda kimsenin olmadığını düşünün. Bölgenin bir haritasını bulmak, yönünüzü anlamanıza yardımcı olacaktır ve size sonraki adımlarınız ile ilgili görüler sağlayacaktır. Dahili bağlantılar dediğimiz iç linkler de Google botları için aynı şekilde hareket eder. Botlar web sitenizi tararken, dahili bağlantılar çeşitli sayfalarda gezinmelerine ve onları kapsamlı bir şekilde taramalarına yardımcı olur. Web sitenizin dahili bağlantısı ne kadar sıkı ve entegre olursa, botlar da web sitenizi o kadar iyi tarayabilir. Web sitenizin dahili bağlantı yapısının ne kadar iyi durumda çalıştığını anlamak için Google Search Console gibi araçları kullanabilirsiniz.

Dış bağlantılar da benzer şekillerde çalışırlar. Kaliteli ve sıralaması yüksek konumda olan özgün sayfalardan dış link aldıkça hem sitenizin Google nezdinde güvenilirliği artacaktır hem de sitenizin bulunup taranması Google için daha kolay bir hale gelecektir. Çünkü, Google botları web siteleri tararken bir dahaki taramalarında hangi sayfaları tarayacaklarına mevcut taradıkları web sitelerden eriştikleri bağlantılar ile karar verme eğilimindedirler.

3- Site Haritası Kullanın

Site Haritası Kullanın
Site Haritası Kullanın

Web sitenizin site haritası (sitemap), web sitenize nasıl erişileceği konusunda Google’ın botları için açık ve anlaşılır bir kılavuz işlevi görür. Sitemap.xml, Google botlarını takip etmek için web sitenize bir harita görevi görür. Botların karmaşık web sitesi yapısı nedeni ile kafası karışabilir ve web sitenizi tararken sitenizin izini kaybedebilirler. Site haritası kullanmak yanlış adımlardan kaçınmalarına yardımcı olur ve botların web sitenizin tüm ilgili alanlarında gezinmesini sağlar.

Site haritanızı aktif bir şekilde işleme koymak için ise haritanızı Google Search Console aracılığı ile Google’a göndermeniz gerekmektedir.

4- Canonical Etiketleri Kontrol Edin

Canonical Etiketleri Kontrol Edin
Canonical Etiketleri Kontrol Edin

Özellikle e-ticaret alanında çalışan büyük web siteleri için en sık karşılaşılan sorunlardan biri yinelenen sayfaların işlenmesidir. Yinelenen sayfalar, çok dilli sayfalar gibi birçok nedenden dolayı meydana gelmiş olabilir. Ancak, dikkatli bir şekilde ele alınmazlarsa, Google botları tarafından düzgün şekilde dizine eklenmelerinde sorun çıkabilir.

Web sitenizde herhangi bir nedenle yinelenen sayfalarınız varsa, Google botlarının bu sayfaların özelliklerini bilmesini sağlamak için, bu sayfaları botlar için oluşturulan standart Canonical etiketler kullanarak tanımlamanız zorunludur. Ayrıca, bunun için hreflang niteliğini de kullanabilirsiniz.

5- Site Hızınızı Optimize Edin

Site Hızınızı Optimize Edin
Site Hızınızı Optimize Edin

Web site hızı, Google’ın arama sorgularında en üst sıralarda yer almak için optimize etmeniz gereken önemli faktörlerden biridir. Google botları, web sitenizin yüklenmesinin ne kadar sürdüğünü değerlendirir ve normalden ya da beklenenden daha uzun sürerse, Google’ın sıralamalarınızı düşürme olasılığı yüksektir.

Ziyaretçilerin 2 saniyeden fazla beklemeye tahammülü olmadığı bir dijital çağda site hızınızın optimize edilmemesi kullanıcılara kötü bir kullanıcı deneyimi sunmakla beraber trafiğinizi de düşürecektir.

6- URL Yapınızı Optimize Edin

URL Yapınızı Optimize Edin
URL Yapınızı Optimize Edin

Temiz, anlaşılır ve kesin bir URL yapısına sahip olmak da önemli bir sıralama faktörüdür ve aynı zamanda kullanıcı deneyimini iyileştirmeye de yardımcı olur. Bu nedenle, web sitesi genelinde URL sınıflandırmanızın anlaşılır ve temiz olduğundan emin olmalısınız.

Google botları temiz URL yapıları sayesinde sayfaların bağlantılarını daha iyi anlayabilir. Bu, web sitenizi geliştirmenin en başından başlaması gereken bir aktivitedir. Örneğin, yüksek sıralamaya sahip eski sayfalarınız varsa o sayfaların URL’lerini değiştirmemeniz önerilir. Ancak, web sitenize yardımcı olacağına inanıyorsanız, bu sayfalar için 301 yönlendirmesi ayarladığınızdan emin olmalısınız. Ayrıca sitemap.xml dosyanızı da güncelleyerek Google botlarının bu değişiklikten haberdar olmasını sağlamanız gerekmektedir. Böylelikle botlar değişikliği güncelleyerek sayfanızı tekrar dizine ekleyecektir.

7- Görsellerinizi Optimize Edin

Görsellerinizi Optimize Edin
Görsellerinizi Optimize Edin

Görsel optimizasyonu yapmak Google botlarının görsellerin içerikle nasıl ilişkili olduğunu belirlemelerine yardımcı olur ve içeriğinizin SEO optimizasyonunu artırabilir.

Web sitenizde görüntü optimizasyonu gerçekleştirmenin bazı yolları şunlardır:

  • Görüntü dosyası adını oluşturmak: Görüntünün ne olduğu mümkün olduğunca az kelimeyle açıklanmalıdır,
  • Görsel alt metni: Görselin ne ile ilgili olduğunu daha fazla kelimeyle tanımlamaya çalışın ve anahtar kelimelere ağırlık vermeye özen gösterin.
  • Görsel Site Haritası: Google botlarının görsellerinizi daha kolay tarayabilmesi için Google tarafından görseller için ayrı bir site haritası kullanılması önerilir.

Googlebot IP Adresleri Nelerdir?

Googlebot IP Adresleri Nelerdir?
Googlebot IP Adresleri Nelerdir?

Google’ın bazı IP adresleri Google botları tarafından kullanılır. Genellikle, web site yöneticileri Google botlarının kendi sayfalarını ne zaman ziyaret ettiğini izlem gözlemlemek ister. Google, Google botlarının IP adreslerinin resmi bir listesini yayınlamaz. Ancak, aktif adreslerin çoğu bilindiği üzere şöyledir:

64.68.90.1 – 64.68.90.255

64.233.173.193 – 64.233.173.255

66.249.64.1 – 66.249.79.255

216.239.33.96 – 216.239.59.128

Bu tam bir liste değildir ve Google botları tarafından kullanılan belirli adresler herhangi bir zamanda haber verilmeksizin değiştirilebilir. Bunun yerine, botların IP adresini öğrenmek için Google’ın kendi yayınladığı yönergeye göz atmanızı öneririz.

Googlebot Nasıl Engellenir?

Aslında bilinçli bir şekilde Google botlarını engellemenin bir zararı yoktur. Yukarıda robots.txt dosyalarının hatalı kullanımı sonucu Google’ın sayfalarınızı dizine ekleyemeyeceğinden bahsetmiştik. Ancak, hassas bilgiler içeren sayfalarınız varsa onları özel yapmak istemenizde hiçbir sakınca yoktur. Bununla birlikte bildiğiniz üzere Google botları eriştikleri tüm sayfaları tarayıp dizine eklemekle görevlidir. Yani, arama motoru botları genel ve özel içerik arasında otomatik olarak ayrım yapamaz. Bu durumda erişimi kısıtlamanız gereken durumlar olabilir.

Bununla birlikte, botların sitenizin tamamını taramasını istemeyeceğiniz web sitenizin bakım aşamasında veya hazırlık aşamasında olması gibi durumlar da olabilir.

Robots.txt dosyasının başka bir kullanımı ise aynı gönderiler veya sayfalar farklı URL’lerde göründüğünde ortaya çıkacak olan yinelenen içeriği engellemektir. Yinelenen içerikler kopya içerik olarak algılanacağından SEO çalışmalarınızı olumsuz etkileyebilir.

Merak etmeyin, bu durumun çözümü basit. Yapmanız gereken şey yinelenen içeriği belirlemek ve botların onu taramasını engellemektir.

Sitenizin robots.txt dosyasını kontrol etmek istiyorsanız, sitenizin URL’sinden sonra “robots.txt” eklemeniz gerekmektedir. Bir örnekle gösterelim: www.siteniz.com/robots.txt. Hosting kontrol panelinizi bir dosya yöneticisi veya bir FTP istemcisi aracılığıyla düzenleyebilirsiniz.

Eğer aradığınız dosya mevcut değilse manuel olarak oluşturabilirsiniz:

  • Dosya yöneticisinin sağ üst köşesindeki “Yeni Dosya” düğmesine tıklayın,
  • Dosyaya “robots.txt” adını verin ve “public_html” içine yerleştirin.

Artık dosyaya komutlar eklemeye başlayabilirsiniz. Bilmeniz gereken ana maddeler şunlardır:

User-agent: Google botları veya Bingbot gibi kısıtlanacak bot türünü ifade eder.

İzin Verme (Allow): Sayfanızda botları kısıtlamak istediğiniz yerdir.

Bir örnekle açıklayalım. Eğer sitenizde taranmasını istemediğiniz bir bölüm varsa kullanmanız gereken kod şöyledir:

User-agent: Bingbot

Disallow: /example-subfolder/

Ek olarak, botların belirli bir web sayfasında gezinmesini de engelleyebilirsiniz. Yapmanız gereken subfolder/’ın sonuna /blocked-page.html şeklinde istediğini sayfayı eklemektir.

Robots.txt dosyasının tüm arama motoru botlarını engellemek isteyeceğiniz durumlar da olabilir. User-agent’ın yanına yıldız işareti (*) koyarak bunu yapabilirsiniz. Ve tüm siteye erişmelerini engellemek istiyorsanız, İzin Verme seçeneğinin yanına bir eğik çizgi (/) koymanız yeterlidir. Böyle görünecektir:

User-agent: *

Allow: /

Şimdi yapmanız gereken tek şey değişiklikleri kaydetmektir.

Sahte Googlebot Nedir?

Tüm ayarlamaları yaptınız, içerikleriniz anlaşılır ve eksiksiz, Google botlarının optimizasyonunu tamamladınız ve sitenizde teknik ya da normal SEO’da herhangi bir sorun yok diyelim. Peki siteniz neden hala taranmıyor? Bunun nedeni Google botlarını taklit eden bilgisayar korsanlarıdır. Yani onlara sahte botlar diyoruz.

Sahte botların sitenize olan tek zararı sitenizin tarandığını ve dizine eklendiğini zannetmesi ile sınırlı kalmıyor. Öyle ki, bu tür taklitçilerin büyük çoğunluğu sitenize spam yorumlar gönderir web sitenizin içeriğini çalar.

Sahte Googlebotlar Nasıl Engellenir?

Google botlarını tanımlamanın birçok farklı bir yolu vardır. Örneğin, Google’ın botları belirli bir user-agent kullanır ve Google’a ait IP adreslerinden gelirler. Ek olarak, her zaman sitenizin robots.txt dosyasına uyarlar.

Google botlarını taklit eden sahte botlara karşı önlem alabilmeniz için yapabilecekleriniz şöyledir:

  • Google IP’lerini doğrulayıp doğrulamadığını kontrol edin

Elbette sahte olduğu bariz bir şekilde belli olan garip görünümlü user-agent botları tespit etmek kolaydır. Ancak, daha komplike bir şekilde işleyen profesyonel görünümlü botlar konusuna ne yapacaksınız? Google’ın bir web sitesini tarayabileceği çok sayıda user-agent’ı ve yukarıda da bahsettiğimiz gibi zaman zaman değişiklik gösteren çeşitli IP adresi vardır.

Web siteleri, IP adreslerinin Google ağıyla ilişkili olup olmadıklarının kontrolünü anında sağlamaz ne yazık ki. Bu doğrulama eksikliği, kötü niyetli sahte botların içeri girmesine izin veren bir numaralı açıklıktır.

Şu anda Google’ın arama botunun iki resmi kullanıcı aracısı vardır, bunlar:

Mozilla/5.0 (uyumlu; Googlebot/2.1; +http://www.google.com/bot.html)

ve daha az yaygın olan Googlebot/2.1 (+http://www) .google.com/bot.html).

  • User-agent dizeleri oluşturun

Belirtildiği gibi, Google IP adreslerini sık sık değiştirdiği için elimizde kullanabileceğiniz tüm adresler şöyledir diye gösterebileceğimiz sağlıklı bir liste yok. Ancak, Google’ın tarayıcılarını tanımlamanın en iyi yolu “User-Agent” dizesini kullanmaktır.

Sahte botların orijinal Google botlarını taklit etmesinin çeşitli yolları vardır. Basit botlar çoğu zaman user-agent’i olduğu gibi botlarının oluşturduğu isteklere kopyalayıp yapıştırır ve bariz birçok hata gözünüze çarpar. Ancak diğer komplike botlar, orijinaliyle aynı görünen ve web site sahiplerini kolayca kandırabilecek istekler üretir.

  • DataDome modülü kullanın

DataDome modülü tam koruma amaçladığı için IP’lerin hangi hostta barındırıldığına bakmaksızın IP’nin sahibini arayan Ters DNS yöntemini kullanır. Buradaki tek zorluk, bunun yeterince hızlı yapılması gerektiğidir. DataDome’un, kullanıcı deneyimini olumsuz etkilememek veya web sitenin SEO sıralamasını düşürmemek için bağlantıyı yavaşlatmadan 4 milyardan fazla giriş içeren bir veritabanındaki IP sahibini her istem için kontrol etmesi gerekir. Site hızlandırma çalışmaları söz konusu olduğunda bu iki optimizasyonun birbiriyle uyum içinde ve birbirlerini baltalamadan çalıştıklarına emin olmanız gerekmektedir.

Sosyal medyada paylaş

İşini dijitalde güçlendir!

Markanızı Dijital Pazarlamayla Büyütün