Tarama bütçesi, arama motorunun belirli bir sürede herhangi bir internet sitesinde taramayı istediği ve tarayabildiği maksimum sayfa sayısına verilmiş bir isimdir. Arama motorlarının botlarının internet sitesi için tarayabildiği URL sayısı ve taramaya ayırdığı süre tarama bütçesidir.
Tarama bütçesi internet sitesi hızı, dizine eklenen sayfaların sayısı, internet sitesinin boyutu gibi birçok faktörden etkilenmektedir. Tarama bütçesine etki gösteren faktörler üzerinde yapılan iyileştirme çalışmalarıyla ilgili internet sitesinin tarama bütçesinin optimize edilmesine katkı sağlanmaktadır.
Bu işlemin bütçe adıyla anılmasının sebebi; arama motorlarının internet ortamında yer alan sayısız site ve sayfayı tarama noktasında kaynakları optimal düzeyde kullanabilmek için belirli kısıtlamalara gitmesidir. Ek olarak çeşitli faktörlere bağlı durumda olan tarama limitleri belirlemesidir.
SEO uzmanlarının ve website sahiplerinin kesinlikle bilmesi veya en kötü fikir sahibi olması gereken tarama bütçesi hususu son dönemlerde gelen Google güncellemeleriyle fazlasıyla önem kazanmıştır. Her sektörde rekabetin arttığı bu günlerde tarama bütçesi optimizasyonu yapmayan websiteleri gerilemeye mahkum olacak gibi gözüküyor. Gelin birlikte tarama bütçesi nedir? Ve tarama bütçesi optimizasyonu nasıl yapılır? Örnekleriyle inceleyelim.
Tarama Bütçesi (Crawl Budget) Nedir?
Tarama bütçesi (Crawl Budget), Google botlarının websitenize uğradığında tarayabildiği en çok sayfayı belirtmek için kullanılan bir SEO terimidir. Tarama bütçesi yüksek bir web sitesinde bazı içerikler indexlenmeyebilir veya Google botlarının karşısına çıkması geciktiğinden hiç görmemiş dahi olabilir. Bu yüzden SEO çalışmalarının önemli bir kısmını oluşturur.
Hatalı ve sorunlarla dolu bir web sitesinde sırayla tarama yapan Google botları tarama bütçesinin sonuna geldiğinde hala taranmamış sayfalarınız bulunuyor olabilir. Bu durumu çözmek için iç SEO çalışmalarını hızlandırmalı ve özellikle teknik hataları gidermelisiniz. Aksi halde Google botları her problemle karşılaştığında kötü sonuçlarla ayrıldığından sitenin bütününe tesir edebilecek gerilemeler yaşayabilirsiniz.
Örnek verecek olursak birçok 404 hatası bulunan bir websiteniz olduğunu düşünün. Google botları fazlasıyla 404 sayfasından sonra taramayı bırakarak web sitesinden çıkacaktır ve hemen çıkma oranınıza da etki edecektir. Ardından güncellediğiniz veya yeni oluşturduğunuz sayfalarınızı görmeyecek ve bu devamında da şekilde tekrar edecektir. Bu noktada sitede oluşan problemleri takip etmenin ve çözmenin önemi çok büyüktür.
Böylelikle crawl budget nedir? sorusuna yanıt bulduğumuzu düşünüyorum.
Tarama Talebi Nedir?
İnternet sitesinde yapılan çeşitli güncellemeler sonucunda arama botlarının bu değişiklikleri ve güncellemeleri anlayabilmek adına oluşturulan talebe tarama talebi adı verilmektedir. Sitede yapılan güncellemelerin siteye hızlı şekilde yansıması için muhakkak tarama talebi oluşturulmalıdır.
Tarama talebi, arama motoru botlarının internet sitesini ne kadar ve ne miktarda taramak istediğini belirtmek için kullanılmaktadır. Arama motorlarında internet sitelerinde yer alan içeriklerin, dizine eklenme durumu olmadığı veya içeriklerin dizinde güncellemesine gerek duyulmadığı noktalarda tarama talebi sayısı azaltılabilmektedir.
Tarama Oranı Sınırı Nedir?
Tarama oranı sınırı, arama motoru botlarının sitede yer alan sayfaların ne kadar taranabileceğini göstermektedir. Tarama oranı sınırı her zaman değişiklik göstermektedir. Tarama oranı sınırını site içi ve site dışı yapılan SEO çalışmaları etkilemektedir. İnternet sitesinin taranması tamamen arama motoru botlarını uygun şekilde optimize etmeye bağlıdır.
Tarama Bütçenizi Nasıl Artırabilirsiniz?
Tarama bütçesi optimizasyonu, tarama bütçesini etkileyen faktörlerinin tümünün veya önemli bir kısmının kusursuz olarak optimize edilmesini içermektedir. Tarama bütçesinin bu denli önemli olduğu arama motorlarında tarama bütçenizi nasıl artırabilirsiniz veya tarama bütçesi artırmak için neler yapılabilir?
- Sayfanın teknik hataları düzeltilmelidir.
- Sitenin belirli bir bölümü taramaya kapatılmalıdır.
- Site hızı artırılmalıdır.
- Sunucu hızı artırılmalıdır.
- Birbirine benzeyen kopya içerikler siteden kaldırılmalıdır.
- Site içi linklemelere özen gösterilmelidir.
- Site içinden veya site dışından herhangi bir linkleme almayan yetim sayfalar optimize edilmelidir.
Tarama Bütçesi Önemi
Tarama bütçesi, internet sitesinin taranabilirliğinin temelini oluşturan SEO hizmeti süreçlerinin olmazsa olmaz unsurudur. Teknik SEO sağlığı için de tarama bütçesi önemi yadsınamaz değerdedir. Teknik yapıda kusurlu olan, çok fazla sayıda yönlendirme zincirini içeren, kopya durumundaki içerikleri bünyesinde olan, yönlendirme eklenmeyen linksiz içerikleri içeren siteler tarama bütçesini negatif anlamda tüketebilmektedir.
Arama motoru botlarının site sayfasını negatifle karşılaşmadan taraması; tarama bütçesini artırarak sayfaların sorunsuz görüntülenmesini, sitede gerçekleştirilen değişiklik ve güncellemelerin takip edilmesini ve arama sonuçlarında sıralama almayı dolaylı şekilde etkilemektedir.
Bir internet sitesi kalitesinin ve içerisinde bulunan içeriklerin arama motoru botları tarafından keşfedilmesi ve değerlendirilmesi en temelde taranabilirlik, arama motoru sonuç sıralarına sağladığı katkılardan dolayı SEO süreçleri için önemlidir.
Tarama Bütçesini Etkileyen Faktörler
Tarama bütçesini etkileyen faktörler en temelde içerik kalitesini içermektedir. Algoritmaları gelişmiş olan arama motorları, her yıl geliştirmiş oldukları algoritmalarla zayıf içerikleri ayırt etmeye, tarama bütçelerini etkili şekilde kullanmaya ve zayıf içerikleri sonuçların dışında tutmaya başlamıştır.
Bundan dolayı da kaliteli, özgün ve güvenli içerikler tarama bütçesinin sağlıklı seviyede tutulmasında önemlidir. Genel çerçevede tarama bütçesini etkileyen faktörler:
- İnternet sitesinin hızı
- Sunucunun yanıt süresi
- Backlink kalite seviyesi
- İç linklemeler
- İnternet sitesinin haritası
- Txt dosyaları
- SEO uyumlu URL varlığı
Google Botları Websitenizi Nasıl Tarar?
Google botları websitenizi bazı parametrelere göre ziyaret eder. Search Console’da eklediğiniz site haritası ve veritabanınız, eğer var ise Google News kaydınız üzerinden tarama yollarını gerçekleştirmiş olur. Önceki tarama verilerinden de faydalanan örümcekler genellikle yaptığınız değişiklikleri ve yenilikleri anında işlemek yerine dizine ekler ve bir nevi zamanlayabilir.
Google Botlarını Websiteme Nasıl Çağırırım?
Google botlarının websitenizi ziyaret etmesini ve belirli sayfa veya sayfaları güncellemesini istiyorsanız birkaç farklı yol izleyebilirsiniz. Arama konsoluna girerek eski adıyla “Google gibi getir” işlemi yapabilir ve Google botlarını yeni sayfalarınızdan haberdar edebilirsiniz.
Sürekli güncellenen websitelerinden link alabilir veya sosyal medya kanallarından yüksek hit çekebilirsiniz. Bu işlemlerin hiçbiri yazınızın indexe alınacağının garantisini vermez.
Tarama Bütçesi Nasıl Öğrenilir ve Kontrol Edilir?
Google botlarının sitenizi ne sıklıkla ziyaret ettiğini ve tarama bütçenizin ne durumda olduğunu Search Console’u kullanarak öğrenebilirsiniz. Tarama istekleri, toplam indirme boyutu ve ortalama yanıt süresini görüntüleyebilir ve bu sayede tarama bütçesi optimizasyonu sürecini verimli bir şekilde yönetebilirsiniz. Tarama bütçesini Search Console kullanarak incelemek istiyorsanız şu adımları takip edebilirsiniz;
- Search Console’a giriş yapalım ve “Ayarlar” kısmına girelim.
- Tarama başlığı altında “Tarama İstatistikleri”ne tıklayalım.
- “Raporu Aç” kısmından ilerleyerek son istatistikleri görebiliriz.
Tarama istekleri dökümü kısmında ilerlerseniz daha detaylı bir rapora ulaşacaksınız. Burada hata veren sayfaları tespit edebilecek ve düzeltmek için çalışmalarınıza yön verebileceksiniz.
Tarama Bütçesi Neden Optimize Edilmeli?
Tarama bütçesini optimize etmeyen websiteleri Google botlarının ziyaretleri sonuçlarında hatalar websitelerinde bulunduğu sürece gerilemeye mahkum olacaktır. Sorunların çözümü yerine artan sorunlar ise farklı cezalara yol açabilir. Bu sebeple websitesini bir vücut gibi düşünmeli ve aksayan noktalarını tedavi etmek gerekir.
Tüm çalışmalarını sıralama almak için yapan ve her geçen gün güçlenen rakipler karşısında birkaç adım öne geçmek için en küçük detayı dahi düşünmek ve optimize etmek gerekir. Tarama bütçesi nedir? Artık kafamızda bir olgu oluşmaya başlamıştır.
Google’a Geçmeden Önce Yandex’te Tarama Bütçesi Optimizasyonu
Yandex üzerinden kullanıcı çeken veya sıralamalarda tırmanmak isteyen okurlarımız içinde bir kısım ayırmak istedim. Yandex tarama bütçesini farklı şekilde kullanmaktadır. Ayrıca sıralama koşullarından farklı detaylara takılabilir veya Google’da spame düştüğünüz bir kelimede sizi zirveye çıkarabilir.
Yandex raporlarınızı incelemek isterseniz Yandex Webmaster paneline giriş yaparak sitenizi eklemediyseniz eklemelisiniz. Ardından Indexing > Crawl Statistics sekmelerinden ve diğer menülerden incelemelerinizi gerçekleştirebilirsiniz. “Site Quality” kısmında ise tespit edilen hataları görebilirsiniz.
Websitenizi Tarayabileceğiniz Bazı Ücretli ve Ücretsiz Araçlar
Websitelerinizi taramak için onlarca web sitesi olsa da biz sizler için en güvenilir ve en çok kullanılan araçları derlemeyi düşündük. Her birinin birbirinden farklı özellikleri ve kullanım kolaylığına göre tercihte bulunabilir veya birkaç aracı birden kullanabilirsiniz.
- Ahrefs: Ücretsiz olarak sitenizi ekleyebilir ve hataları tarayabilirsiniz.
- Semrush: Ücretsiz olarak ayda sadece 1 kere taramanıza izin verecektir.
- Screaming Frog: Ücretsiz sürümünde en fazla 500 sayfa tarama sınırı vardır.
- Seobility Crawl: Ücretsiz olarak 1000 adet sayfanızı tarayacaktır.
- Moz: 30 Gün ücretsiz kullanım hakkı.
- Deepcrawl: Demo formunu doldurarak deneme talep edebilirsiniz.
Tarama Bütçesi Nasıl Hesaplanır?
Tarama bütçesini hesaplamadan önce Search Console’dan verileri elde etmeli ve ardından dizine alınan toplam sayfa sayısını / günlük taranan ortalama sayfa sayısına bölerek bulabilirsiniz. Ulaştığınız sayı 3’ün altında ise tarama bütçeniz ideal durumdadır. Eğer 5 ve üzeri ise optimize etmeniz gerekmektedir. 10 ve üstü ise bütçenizde ciddi açıklar olduğunu bilmelisiniz.
Tarama Bütçesi Nasıl Optimize Edilir? (Crawl Budget Optimization)
Tarama bütçesi (Crawl Budget) optimize edilmeden önce belirli hataların farkına varmak ve sürekli takibine yapmak gerekir. Bütçe olarak problem yaşamayacak okurlarımıza hataların düzenli tespiti ve kontrolü için Semrush, Ahrefs ve Moz gibi ücretli toolları öneririz. Ahrefs ve Semrush ise ücretsiz sürümlerinde de belirli oranda tarama imkanı sağlamaktadırlar. Tarama bütçesi nedir? Sorusunun ardından tarama bütçesi optmizasyonu için bazı maddeleri ve önemli optimizasyon adımlarını inceleyelim.
Site Haritası ve Robots.txt Optimizasyonu
Bir websitesinin belki de ilk kontrol edilmesi gereken noktası sitemap.xml ve robots.txt dosyalarıdır. Site haritasının düzenli ve hiyerarşik düzenle Google botlarına doğru teslim edildiğine emin olmalı ve Robots.txt dosyasında örümcekleri doğru yönlendirdiğimize emin olmalıyız.
Sitemap haritasında orphan yani yetim sayfalar bulunmadığına dikkat etmeliyiz. Yetim sayfalar; herhangi bir iç linkleme veya dış link almamış sayfalara verilen addır.
Yazılar, sayfalar, kategoriler ve ürünler gibi pek çok farklı türde sayfası bulunan websitesine sahipseniz güncelleme tarihlerine oranla teslim sürelerini doğru ayarlamalısınız. Eğer WordPress kullanıcısı iseniz Rank math, Yoast SEO gibi eklentiler ile bunları kolayca ayarlamanız mümkündür. Böylece tarama bütçesi optimizasyonunu belirli ölçüde gerçekleştirebilirsiniz.
Robots.txt dosyası ise Google botlarını kapıda karşılayan bekçiler gibidir. Websitesine uğrayan Google botlarına hangi sayfaları ziyaret edip indexleyeceğini ve devamında takip edeceğini söylerken hangi sayfalardan uzak durması gerektiğini belirttiğimiz kısımdır.
Doğru Sunucu Seçimi
Bazı kullanıcılarının tarama bütçesi optimizasyonu yaparken dikkate almadığı veya farkına varmadığı bir hususta sunucu seçimidir. Paylaşımlı sunucular, ağır ve yavaş çalışan sunucular, yanlış php sürümleri gibi pek çok hata sitenizi yavaşlatır. Karşılaştığımız bazı durumlarda ise sunucu kayıpları nedeniyle site anlık erişime kapanır ve bunu kullanıcı farketmese de Google botları farkedebilir.
Sunucu seçimi yaparken maliyetten kaçmamalı ve hızlı güvenilir bir altyapı ile yola devam etmek gerekmektedir. Site hızını olumsuz etkileyen sunucular tarama bütçenizi arttıracaktır.
404 ve 5XX Sayfalarını Optimize Edin!
Google botlarının belki de en sevmediği ve tarama bütçesini arttıran detaylardan biriside 400 ve 500’lü sayfalardır. Silinen veya çalışmayan URL’ler, görseller ve dış linkler sitenize ciddi zararlar verecek ve tarama bütçenizi arttıracaktır. Bu durumun önüne geçmek için Screaming Frog, Deepcrawl, Ahrefs gibi toollar ile bu sayfaları tespit edip 301 yönlendirme yaparak veya mevcut sorunu optimize ederek tarama bütçenizi düşürebilirsiniz.
Sunucu veya altyapı kaynaklı 500’lü hataları ise sıklıkla takip ederek çözüme kavuşturmalısınız.
Doğru Noindex Kullanımı İle Tarama Bütçesini Düşürme
Çoğu websitesinde kullanışsız veya çok nadir kullanılan gereksiz sayfalar mevcuttur. Bu sayfaların tespitini yaparak noindex olarak işaretlemek çok değerlidir. Örneğin bir e-ticaret sitesinde arama sorgularını ve filtrelerini noindex yapabilirsiniz. Gizlilik politikası, İade koşulları gibi sadece kullanıcıya dönük sayfaları, sepet aşamaları gibi özelleştirilmiş sayfaları da indexe kapatmayı düşünebilirsiniz.
CSS ve Javascript Boyutu ve Cache Kullanımı
Frontend tasarımların gelişmesi ve farklı scriptler ile görsel zenginliğin artması CSS ve JS dosyalarının sayısını ve boyutlarını oldukça yukarıya çekmiştir. Uzun süreler açılmayan sayfalar, boyanması geciken veya uzun süren sayfalar, açılışı bloklayan script kodları tarama bütçesini olumsuz etkileyen hususlardandır.
Doğru CSS, JS ve HTML sıkıştırmalarıyla bu problemin önüne geçmeli ve hızlı açılan bir siteye sahip olmalısınız.
Resim Boyutları ve Lazyload Kullanımı
Tarama süresini oldukça olumsuz etkileyen bu maddeyi kesinlikle dikkatle okumalısınız. Günümüzde websiteleri ve sosyal medya platformları görsel, video ve gifler üzerine kurulmaktadır. Yazılar yerine görsellerden hoşlanan kullanıcı için oluşturulan fazla sayıda medya dosyası site hızınızı olumsuz etkilemektedir.
Görsel Optimizasyon ve Lazy Load
Sitenizde kullandığınız görsellerin boyutlarını küçültmeli, webp versiyonlar kullanmalı ve mümkünse CDN teknolojisinden faydalanmalısınız. Cache yazılımınızla Lazy Load teknolojisini kullanarak önce yazıların sonrada görsellerin yavaşça yüklenmesini sağlayarak sayfa hızlarını arttırabilirsiniz.
Video Optimizasyonu
İçeriğinizde veya sayfalarınızda kullandığınız video ögelerini cache sistemine adapte edip hızlı açılmasını sağlamalısınız. WP Rocket bu konuda iyi bir eklentidir.
Mobil Uyumluluk ve Sayfa Hızları
Google yayınladığı güncellemelerle her geçen gün mobil kullanımı ön planda tutuyor ve bu detaya çok önem veriyor. Website girişlerinin büyük çoğunluğunu artık mobil kullanıcılar domine ediyor. Bu sebepten dolayı bazı teknolojileri kullanmak ve mobil uyumlu bir websiteye sahip olmak tercihten öte mecburiyet haline gelmiştir. Ekstra teknolojileri kullanarak da sitenize değer katabilirsiniz. Bu teknolojilerden bazılarını listeleyelim;
- Amp ( Hızlandırılmış Mobil Sayfalar)
- Pwa (Progressive Web Apps)
- Mobil Uyumlu Template ve Scriptler
Sitenizin mobil uyumlu olup olmadığını Google mobil uyumluluk testi sayfasından ölçebilirsiniz.
Tarama Bütçesi Ne Zaman Sorun Olur?
Tarama bütçesi ne zaman sorun olur, konuyla ilgili kişilerin merakını oluşturmaktadır. Tarama bütçesi, tarama talebi sayısının azalmasıyla her zaman bir sorun oluşturmamaktadır. Paylaşımların sıklığı, içeriklerin popülerliği, içeriğin güncelliğini yitirmesi gibi faktörler bir internet sitesinin teknik manada sorunsuz olan tarama bütçesini, arama motoru tarama isteğinin azalmasıyla etkileyebilmektedir.
Crawl Budget ve SEO İlişkisi
Crawl Budget veya diğer deyişle tarama bütçesi SEO çalışmalarıyla bağlantılı durumdadır. Arama motorunda bir sayfa indekslenmezse, sıralama alması zor olmaktadır. Bundan dolayı da sayfa sayısı, sitenin tarama bütçesini aşıyorsa dizine alınmamış sayfalara sahip olunacaktır.
Buna ek olarak mevcut internet sitelerinin büyük bir kısmının tarama bütçesi hakkında endişe duymasına gerek yoktur. Çünkü arama motoru içerisinde sayfaları bulma ve dizine alma konusunda bu siteler iyi bir algoritmaya sahiptir.
Crawl Budget ve SEO ilişkisi burada önemlidir. Tarama bütçesi optimizasyonu, SEO çalışmaları dahilinde arama motoru botlarının internet sitesinde yer alan önemsiz sayfalar aksine önemli sayfaların taranması ve sıralaması alması için gereklidir.
İç Link İnşaası ve Dikkat Edilmesi Gerekenler
Web sitenizde yayınladığınız sayfalarınıza bıraktığını iç linklemeleri Google botları değerli ve güçlü sinyaller olarak algılarken dizine ekleme sırasına alır ve böylece daha hızlı bir indexlenme süreci oluşur. Güçlenmiş sayfalar birbirine bağlandığından uzun vadede olumlu katkıları defaatle artacaktır.
Kopya İçerik ve Benzer Sayfalar
Bu maddeye değinirken şunu belirtmeliyim ki sadece crawl budget optimization (tarama bütçesi optimizasyonu) süreci için değil genel olarak hiçbir websitesinin yapmaması gereken önemli SEO hatalarından birinin kopya içerik olduğunu belirtmek isterim. Web siteniz de kopya içerikler ve benzer içerikler mevcut ise kesinlikle özgünleştirmeli ve benzer sayfaları kaldırmalısınız.
Fazla Optimize Edilmiş – Spam veya Yetersiz Sayfalar
Öncelikle yetersiz – eksik sayfalara değinelim. Bazı içerik tiplerinde 200 kelime yazmanız yeterli iken detaylı ve doyurucu bilgiye ihtiyaç duyulan içerik tiplerinde gereken kelime oranına erişmeniz sizin için daha iyi olacaktır. Örneğin; “Diş Ağrısına Ne İyi Gelir” başlıklı bir yazıya “Alkol iyi gelir” yazıp bırakmak pek doğru bir şey olmayacaktır. Bu ağrının sebepleri ve ağrı nedenine göre mantıklı bir önermede bulunmalısınız.
Spam sayfalarda ise web site sahipleri veya SEO uzmanları bazen optimizasyonun ve anahtar kelime kullanımının dozunu kaçırmakta ve yazıyı spam bir yazıya dönüştürmektedirler. Tarama bütçesi optimizasyonu gerçekleştirirken spam sayfalarınızı da optimize etmeniz yararınıza olacaktır. Sayfa ve site kalitenizi yükseltecektir.
Backlink İnşaası ve Hataları
Tarama hızınızı arttırmak için kaliteli dış linklere de ihtiyaç duyabilirsiniz. Bu kısımda bazı noktalar ince bir ip üzerinde yürümeye benzer. Sebebi ise fayda ve zarar incelemesinin iyi yapılması veya yapılamamasıdır. Doğru inşa edilmiş dış link çalışması faydalı olurken, yapılan bir hata veya spam işleri tamamen tersine çevirebilir. Doğal ve sosyal linklere önem vermenizi ve backlink alırken değere önem vermelisiniz.
Okumayı Değil de İzlemeyi Sevenlere “Crawl Budget” Hakkında Güzel Bir Söyleşi Önerebilirim!
Peki ben bu Zararlı linkleri nasıl reddederim? Diye düşünüyor ve nasıl ilerleyeceğinizi bilmiyorsanız yazıya devam etmenizi öneririm.
Sonraki yazılarda görüşmek üzere hoşçakalın 🙂
- Yapısal Veri (Structred Data) Nedir? Yapısal Veri Çeşitleri - 9 Haziran 2023
- Tarama Bütçesi Nedir?Neden Optimize Edilmeli? - 29 Mayıs 2023
- Google Ceza Analizi ve Kurtulma Yolları [Ücretsiz] - 12 Nisan 2023
All rights reserved.
