SEO uzmanlarının ve website sahiplerinin kesinlikle bilmesi veya en kötü fikir sahibi olması gereken tarama bütçesi hususu son dönemlerde gelen Google güncellemeleriyle fazlasıyla önem kazanmıştır. Her sektörde rekabetin arttığı bu günlerde tarama bütçesi optimizasyonu yapmayan websiteleri gerilemeye mahkum olacak gibi gözüküyor. Gelin birlikte tarama bütçesi nedir? Ve tarama bütçesi optimizasyonu nasıl yapılır? Örnekleriyle inceleyelim.
Tarama Bütçesi (Crawl Budget) Nedir?
Tarama bütçesi (Crawl Budget), Google botlarının websitenize uğradığında tarayabildiği en çok sayfayı belirtmek için kullanılan bir SEO terimidir. Tarama bütçesi yüksek bir websitesinde bazı içerikler indexlenmeyebilir veya Google botlarının karşısına çıkması geciktiğinden hiç görmemiş dahi olabilir. Bu yüzden SEO çalışmalarının önemli bir kısmını oluşturur.
Hatalı ve sorunlarla dolu bir websitesinde sırayla tarama yapan Google botları tarama bütçesinin sonuna geldiğinde hala taranmamış sayfalarınız bulunuyor olabilir. Bu durumu çözmek için iç SEO çalışmalarını hızlandırmalı ve özellikle teknik hataları gidermelisiniz. Aksi halde Google botları her problemle karşılaştığında kötü sonuçlarla ayrıldığından sitenin bütününe tesir edebilecek gerilemeler yaşayabilirsiniz.
Örnek verecek olursak birçok 404 hatası bulunan bir websiteniz olduğunu düşünün. Google botları fazlasıyla 404 sayfasından sonra taramayı bırakarak websitesinden çıkacaktır ve hemen çıkma oranınıza da etki edecektir. Ardından güncellediğiniz veya yeni oluşturduğunuz sayfalarınızı görmeyecek ve bu devamında da şekilde tekrar edecektir. Bu noktada sitede oluşan problemleri takip etmenin ve çözmenin önemi çok büyüktür.
Böylelikle crawl budget nedir? sorusuna yanıt bulduğumuzu düşünüyorum.
Google Botları Websitenizi Nasıl Tarar?
Google botları websitenizi bazı parametrelere göre ziyaret eder. Search Console’da eklediğiniz site haritası ve veritabanınız, eğer var ise Google News kaydınız üzerinden tarama yollarını gerçekleştirmiş olur. Önceki tarama verilerinden de faydalanan örümcekler genellikle yaptığınız değişiklikleri ve yenilikleri anında işlemek yerine dizine ekler ve bir nevi zamanlayabilir.
Google Botlarını Websiteme Nasıl Çağırırım?
Google botlarının websitenizi ziyaret etmesini ve belirli sayfa veya sayfaları güncellemesini istiyorsanız birkaç farklı yol izleyebilirsiniz. Arama konsoluna girerek eski adıyla “Google gibi getir” işlemi yapabilir ve Google botlarını yeni sayfalarınızdan haberdar edebilirsiniz.
Sürekli güncellenen websitelerinden link alabilir veya sosyal medya kanallarından yüksek hit çekebilirsiniz. Bu işlemlerin hiçbiri yazınızın indexe alınacağının garantisini vermez.
Tarama Bütçesi Nasıl Öğrenilir ve Kontrol Edilir?
Google botlarının sitenizi ne sıklıkla ziyaret ettiğini ve tarama bütçenizin ne durumda olduğunu Search Console’u kullanarak öğrenebilirsiniz. Tarama istekleri, toplam indirme boyutu ve ortalama yanıt süresini görüntüleyebilir ve bu sayede tarama bütçesi optimizasyonu sürecini verimli bir şekilde yönetebilirsiniz. Tarama bütçesini Search Console kullanarak incelemek istiyorsanız şu adımları takip edebilirsiniz;
- Search Console’a giriş yapalım ve “Ayarlar” kısmına girelim.
- Tarama başlığı altında “Tarama İstatistikleri”ne tıklayalım.
- “Raporu Aç” kısmından ilerleyerek son istatistikleri görebiliriz.
Tarama istekleri dökümü kısmında ilerlerseniz daha detaylı bir rapora ulaşacaksınız. Burada hata veren sayfaları tespit edebilecek ve düzeltmek için çalışmalarınıza yön verebileceksiniz.
Tarama Bütçesi Neden Optimize Edilmeli?
Tarama bütçesini optimize etmeyen websiteleri Google botlarının ziyaretleri sonuçlarında hatalar websitelerinde bulunduğu sürece gerilemeye mahkum olacaktır. Sorunların çözümü yerine artan sorunlar ise farklı cezalara yol açabilir. Bu sebeple websitesini bir vücut gibi düşünmeli ve aksayan noktalarını tedavi etmek gerekir.
Tüm çalışmalarını sıralama almak için yapan ve her geçen gün güçlenen rakipler karşısında birkaç adım öne geçmek için en küçük detayı dahi düşünmek ve optimize etmek gerekir. Tarama bütçesi nedir? Artık kafamızda bir olgu oluşmaya başlamıştır.
Google’a Geçmeden Önce Yandex’te Tarama Bütçesi Optimizasyonu
Yandex üzerinden kullanıcı çeken veya sıralamalarda tırmanmak isteyen okurlarımız içinde bir kısım ayırmak istedim. Yandex tarama bütçesini farklı şekilde kullanmaktadır. Ayrıca sıralama koşullarından farklı detaylara takılabilir veya Google’da spame düştüğünüz bir kelimede sizi zirveye çıkarabilir.
Yandex raporlarınızı incelemek isterseniz Yandex Webmaster paneline giriş yaparak sitenizi eklemediyseniz eklemelisiniz. Ardından Indexing > Crawl Statistics sekmelerinden ve diğer menülerden incelemelerinizi gerçekleştirebilirsiniz. “Site Quality” kısmında ise tespit edilen hataları görebilirsiniz.
Websitenizi Tarayabileceğiniz Bazı Ücretli ve Ücretsiz Araçlar
Websitelerinizi taramak için onlarca web sitesi olsa da biz sizler için en güvenilir ve en çok kullanılan araçları derlemeyi düşündük. Her birinin birbirinden farklı özellikleri ve kullanım kolaylığına göre tercihte bulunabilir veya birkaç aracı birden kullanabilirsiniz.
- Ahrefs: Ücretsiz olarak sitenizi ekleyebilir ve hataları tarayabilirsiniz.
- Semrush: Ücretsiz olarak ayda sadece 1 kere taramanıza izin verecektir.
- Screaming Frog: Ücretsiz sürümünde en fazla 500 sayfa tarama sınırı vardır.
- Seobility Crawl: Ücretsiz olarak 1000 adet sayfanızı tarayacaktır.
- Moz: 30 Gün ücretsiz kullanım hakkı.
- Deepcrawl: Demo formunu doldurarak deneme talep edebilirsiniz.
Tarama Bütçesi Nasıl Hesaplanır?
Tarama bütçesini hesaplamadan önce Search Console’dan verileri elde etmeli ve ardından dizine alınan toplam sayfa sayısını / günlük taranan ortalama sayfa sayısına bölerek bulabilirsiniz. Ulaştığınız sayı 3’ün altında ise tarama bütçeniz ideal durumdadır. Eğer 5 ve üzeri ise optimize etmeniz gerekmektedir. 10 ve üstü ise bütçenizde ciddi açıklar olduğunu bilmelisiniz.
Tarama Bütçesi Nasıl Optimize Edilir? (Crawl Budget Optimization)
Tarama bütçesi (Crawl Budget) optimize edilmeden önce belirli hataların farkına varmak ve sürekli takibine yapmak gerekir. Bütçe olarak problem yaşamayacak okurlarımıza hataların düzenli tespiti ve kontrolü için Semrush, Ahrefs ve Moz gibi ücretli toolları öneririz. Ahrefs ve Semrush ise ücretsiz sürümlerinde de belirli oranda tarama imkanı sağlamaktadırlar. Tarama bütçesi nedir? Sorusunun ardından tarama bütçesi optmizasyonu için bazı maddeleri ve önemli optimizasyon adımlarını inceleyelim.
Site Haritası ve Robots.txt Optimizasyonu
Bir websitesinin belki de ilk kontrol edilmesi gereken noktası sitemap.xml ve robots.txt dosyalarıdır. Site haritasının düzenli ve hiyerarşik düzenle Google botlarına doğru teslim edildiğine emin olmalı ve Robots.txt dosyasında örümcekleri doğru yönlendirdiğimize emin olmalıyız.
Sitemap haritasında orphan yani yetim sayfalar bulunmadığına dikkat etmeliyiz. Yetim sayfalar; herhangi bir iç linkleme veya dış link almamış sayfalara verilen addır.
Yazılar, sayfalar, kategoriler ve ürünler gibi pek çok farklı türde sayfası bulunan websitesine sahipseniz güncelleme tarihlerine oranla teslim sürelerini doğru ayarlamalısınız. Eğer WordPress kullanıcısı iseniz Rank math, Yoast SEO gibi eklentiler ile bunları kolayca ayarlamanız mümkündür. Böylece tarama bütçesi optimizasyonunu belirli ölçüde gerçekleştirebilirsiniz.
Robots.txt dosyası ise Google botlarını kapıda karşılayan bekçiler gibidir. Websitesine uğrayan Google botlarına hangi sayfaları ziyaret edip indexleyeceğini ve devamında takip edeceğini söylerken hangi sayfalardan uzak durması gerektiğini belirttiğimiz kısımdır.
Doğru Sunucu Seçimi
Bazı kullanıcılarının tarama bütçesi optimizasyonu yaparken dikkate almadığı veya farkına varmadığı bir hususta sunucu seçimidir. Paylaşımlı sunucular, ağır ve yavaş çalışan sunucular, yanlış php sürümleri gibi pek çok hata sitenizi yavaşlatır. Karşılaştığımız bazı durumlarda ise sunucu kayıpları nedeniyle site anlık erişime kapanır ve bunu kullanıcı farketmese de Google botları farkedebilir.
Sunucu seçimi yaparken maliyetten kaçmamalı ve hızlı güvenilir bir altyapı ile yola devam etmek gerekmektedir. Site hızını olumsuz etkileyen sunucular tarama bütçenizi arttıracaktır.
404 ve 5XX Sayfalarını Optimize Edin!
Google botlarının belki de en sevmediği ve tarama bütçesini arttıran detaylardan biriside 400 ve 500’lü sayfalardır. Silinen veya çalışmayan URL’ler, görseller ve dış linkler sitenize ciddi zararlar verecek ve tarama bütçenizi arttıracaktır. Bu durumun önüne geçmek için Screaming Frog, Deepcrawl, Ahrefs gibi toollar ile bu sayfaları tespit edip 301 yönlendirme yaparak veya mevcut sorunu optimize ederek tarama bütçenizi düşürebilirsiniz.
Sunucu veya altyapı kaynaklı 500’lü hataları ise sıklıkla takip ederek çözüme kavuşturmalısınız.
Doğru NoIndex Kullanımı İle Tarama Bütçesini Düşürme
Çoğu websitesinde kullanışsız veya çok nadir kullanılan gereksiz sayfalar mevcuttur. Bu sayfaların tespitini yaparak noindex olarak işaretlemek çok değerlidir. Örneğin bir e-ticaret sitesinde arama sorgularını ve filtrelerini noindex yapabilirsiniz. Gizlilik politikası, İade koşulları gibi sadece kullanıcıya dönük sayfaları, sepet aşamaları gibi özelleştirilmiş sayfaları da indexe kapatmayı düşünebilirsiniz.
CSS ve Javascript Boyutu ve Cache Kullanımı
Frontend tasarımların gelişmesi ve farklı scriptler ile görsel zenginliğin artması CSS ve JS dosyalarının sayısını ve boyutlarını oldukça yukarıya çekmiştir. Uzun süreler açılmayan sayfalar, boyanması geciken veya uzun süren sayfalar, açılışı bloklayan script kodları tarama bütçesini olumsuz etkileyen hususlardandır.
Doğru CSS, JS ve HTML sıkıştırmalarıyla bu problemin önüne geçmeli ve hızlı açılan bir siteye sahip olmalısınız.
Resim Boyutları ve Lazyload Kullanımı
Tarama süresini oldukça olumsuz etkileyen bu maddeyi kesinlikle dikkatle okumalısınız. Günümüzde websiteleri ve sosyal medya platformları görsel, video ve gifler üzerine kurulmaktadır. Yazılar yerine görsellerden hoşlanan kullanıcı için oluşturulan fazla sayıda medya dosyası site hızınızı olumsuz etkilemektedir.
Görsel Optimizasyon ve Lazy Load
Sitenizde kullandığınız görsellerin boyutlarını küçültmeli, webp versiyonlar kullanmalı ve mümkünse CDN teknolojisinden faydalanmalısınız. Cache yazılımınızla Lazy Load teknolojisini kullanarak önce yazıların sonrada görsellerin yavaşça yüklenmesini sağlayarak sayfa hızlarını arttırabilirsiniz.
Video Optimizasyonu
İçeriğinizde veya sayfalarınızda kullandığınız video ögelerini cache sistemine adapte edip hızlı açılmasını sağlamalısınız. WP Rocket bu konuda iyi bir eklentidir.
Mobil Uyumluluk ve Sayfa Hızları
Google yayınladığı güncellemelerle her geçen gün mobil kullanımı ön planda tutuyor ve bu detaya çok önem veriyor. Website girişlerinin büyük çoğunluğunu artık mobil kullanıcılar domine ediyor. Bu sebepten dolayı bazı teknolojileri kullanmak ve mobil uyumlu bir websiteye sahip olmak tercihten öte mecburiyet haline gelmiştir. Ekstra teknolojileri kullanarakta sitenize değer katabilirsiniz. Bu teknolojilerden bazılarını listeleyelim;
- Amp ( Hızlandırılmış Mobil Sayfalar)
- Pwa (Progressive Web Apps)
- Mobil Uyumlu Template ve Scriptler
Sitenizin mobil uyumlu olup olmadığını Google mobil uyumluluk testi sayfasından ölçebilirsiniz.
İç Link İnşaası ve Dikkat Edilmesi Gerekenler
Websitenizde yayınladığınız sayfalarınıza bıraktığını iç linklemeleri Google botları değerli ve güçlü sinyaller olarak algılarken dizine ekleme sırasına alır ve böylece daha hızlı bir indexlenme süreci oluşur. Güçlenmiş sayfalar birbirine bağlandığından uzun vadede olumlu katkıları defaatle artacaktır.
Kopya İçerik ve Benzer Sayfalar
Bu maddeye değinirken şunu belirtmeliyim ki sadece crawl budget optimization (tarama bütçesi optimizasyonu) süreci için değil genel olarak hiçbir websitesinin yapmaması gereken önemli SEO hatalarından birinin kopya içerik olduğunu belirtmek isterim. Websiteniz de kopya içerikler ve benzer içerikler mevcut ise kesinlikle özgünleştirmeli ve benzer sayfaları kaldırmalısınız.
Fazla Optimize Edilmiş – Spam veya Yetersiz Sayfalar
Öncelikle yetersiz – eksik sayfalara değinelim. Bazı içerik tiplerinde 200 kelime yazmanız yeterli iken detaylı ve doyurucu bilgiye ihtiyaç duyulan içerik tiplerinde gereken kelime oranına erişmeniz sizin için daha iyi olacaktır. Örneğin; “Diş Ağrısına Ne İyi Gelir” başlıklı bir yazıya “Alkol iyi gelir” yazıp bırakmak pek doğru bir şey olmayacaktır. Bu ağrının sebepleri ve ağrı nedenine göre mantıklı bir önermede bulunmalısınız.
Spam sayfalarda ise website sahipleri veya SEO uzmanları bazen optimizasyonun ve anahtar kelime kullanımının dozunu kaçırmakta ve yazıyı spam bir yazıya dönüştürmektedirler. Tarama bütçesi optimizasyonu gerçekleştirirken spam sayfalarınızı da optimize etmeniz yararınıza olacaktır. Sayfa ve site kalitenizi yükseltecektir.
Backlink İnşaası ve Hataları
Tarama hızınızı arttırmak için kaliteli dış linklere de ihtiyaç duyabilirsiniz. Bu kısımda bazı noktalar ince bir ip üzerinde yürümeye benzer. Sebebi ise fayda ve zarar incelemesinin iyi yapılması veya yapılamamasıdır. Doğru inşa edilmiş dış link çalışması faydalı olurken, yapılan bir hata veya spam işleri tamamen tersine çevirebilir. Doğal ve sosyal linklere önem vermenizi ve backlink alırken değere önem vermelisiniz.
Okumayı Değil de İzlemeyi Sevenlere “Crawl Budget” Hakkında Güzel Bir Söyleşi Önerebilirim!
Peki ben bu Zararlı linkleri nasıl reddederim? Diye düşünüyor ve nasıl ilerleyeceğinizi bilmiyorsanız yazıya devam etmenizi öneririm.
Sonraki yazılarda görüşmek üzere hoşçakalın 🙂
