Crawl budget veya Türkçe karşılığıyla tarama bütçesi, web sitesinin sayfalarının bir crawler yani arama robotu tarafından taranması ve dizine eklenmesini kapsayan, web siteye özel bir sınırdır.
Daha önce crawler nedir, nasıl çalışır hakkında bir içerik yayımlamıştık. Bu içeriğimizde ise yine benzer bir konu olan crawl budget nedir inceleyeceğiz. Bu içeriğimizden önce Crawler Nedir başlıklı makalemize göz atmanız faydalı olabilir.
Tarama Bütçesi Nedir?
En basit tanımıyla tarama bütçesi, arama motoru botlarının belirli bir süre boyunca tarayabileceği bir kaynağın maksimum sayfa sayısıdır.
Aslında bu terim, direk olarak Googlebot ile ilgilidir.
Gezegenin en büyük SEO topluluğu sloganıyla bilinen Moz, tarama bütçesini şöyle tanımlıyor;
“Tarama bütçesi, Googlebot’un ayrılmadan önce sitenizde tarayacağı ortalama URL sayısıdır, bu nedenle tarama bütçesi optimizasyonu, Googlebot’un önemli sayfalarınızı göz ardı etme riski ile önemsiz sayfalarınızı tarayarak zaman kaybetmemesini sağlar.”
Tarama Bütçesi Neden Optimize Edilmeli?
Arama motorları veri tabanlarına hemen yeni web sitesi sayfaları eklemez. Bazen indeksleme süreci haftalar veya aylar sürebilir. Ancak, küçük siteler ve yeni sayfaları hızlıca indekslenen siteler için endişe edecek bir durum yoktur.
Crawl budget doğrudan bir sıralama faktörü değildir. Ancak sıralamayı etkilemez demek doğru olmaz.
Arama robotları, kaynaklarını boşa harcamaktan hoşlanmaz. Bu nedenle, düşük sayfa boyutlarına sahip hızlı siteleri severler. Çünkü hızlı bir tarama, web sitenin hızlı açılıyor olmasıyla ilişkilidir. Hızlı web siteleri Google’da yükselmek için iyi bir adaydır. Bu, tarama bütçesi optimizasyonu yapmanın dolaylı olarak SEO’ya etkisidir.
Aynı zamanda, uzun süre indekslenmeyen bir sayfa SEO için doğrudan bir engel olabilir.
2018 yılında Google’dan John Mueller Twitter’da yaptığı bir açıklama şöyledir:
“Çoğu sitenin asla bunun için endişelenmesine gerek yok. Bu ilginç bir konu ve eğer web’i tarıyorsanız veya milyarlarca URL’lik bir siteyi çalıştırıyorsanız, bu önemlidir, ancak ortalama site sahibi için daha az önemli”
Moz’un hazırladığı bir makalede yine benzer bir açıklama bulunuyor:
“Tarama bütçesi, on binlerce URL’ye sahip çok büyük sitelerde çok daha önemlidir, ancak tarayıcıların kesinlikle umursamadığınız içeriğe erişmesini engellemek asla kötü bir fikir değildir. Bir tarayıcının, canonical url veya noindex etiketleri gibi başka yönergeler eklediğiniz sayfalara erişimini engellemediğinizden emin olun.”
Crawl budget optimizasyonunu daha anlaşılır ve sayısal şekilde açıklayan, WordPress kullanıcılarının vazgeçilmez eklentisi olan Yoast Seo’nun bir makalesinde açıklama şöyledir:
“Google’ın sitenizde çok sayıda URL’yi taraması gerekiyorsa ve çok sayıda tarama tahsis etmişse, tarama bütçesi sorun olmaz. Ancak, sitenizde 250.000 sayfa olduğunu ve Google’ın bu sitede her gün 2.500 sayfayı taradığını varsayalım. Bazılarını (ana sayfa gibi) diğerlerinden daha fazla tarayacaktır. İşlem yapmazsanız, Google’ın sayfalarınızda belirli değişiklikleri fark etmesi 200 gün kadar sürebilir. Tarama bütçesi artık bir sorundur. Öte yandan, günde 50.000 tararsa, hiç sorun olmaz.”
Tarama Bütçenizi Nasıl Optimize Edebilirsiniz?
Tüm arama motorlarının temel mantığı şudur: Site ne kadar kaliteli olursa, o kadar ilgilenilmelidir. Bu nedenle arama motorlarına her anlamda sitenizin yararlı bir kaynak olduğunu göstermelisiniz. Bu, hem arama sonuçlarında üst sıralara ulaşabilmeniz, hem de crawl budget kaynağını boşa harcamamanız için önemlidir.
Etkisi kanıtlanmış bazı faktörler şunlardır:
- Sitemap.xml ve robots.txt dosyaları
Bu iki dosya arama robotlarının sitenizi hiyerarşik bir düzenle okumasını ve nasıl düzenlendiğini görmesini sağlar.
- Web sitesi hızı
Web sitenizi hızlandırmak sadece daha fazla tarama yapılmasını değil, aynı zamanda kullanıcı deneyimini de iyileştirir. Burada dikkat edilmesi gereken bir önemli nokta var. Masaüstü ve mobil için Google farklı crawlerlar kullanır. Bu hem mobil, hem de masaüstünde hızlı açılan bir web siteye sahip olmanız gerektiği anlamına gelir.
- Kırık bağlantılar
Kırık linkler veya İngilizce broken link. Genellikle 404 yanıtı veren bu bağlantılar, tarama bütçenizi boşa harcamaktır. Aynı zamanda hem SEO, hem de kullanıcılar için olumsuz etki yaratır. Bu konu hakkında, Kırık bağlantılar nedir? başlıklı içeriğimizi incelemenizi tavsiye ederiz. Böylece, kırık bağlantılardan kurtulabilirsiniz.
- Yönlendirme sayısı
Uzun yönlendirmelerden, hatta mümkün oldukça yönlendirmelerden kaçınmak faydalıdır. 301 yönlendirmelerinin tarama bütçesinde büyük bir kaynak tükettiği biliniyor.
- Bağlantı profilinizi geliştirin
Tematik olarak alakalı Anchor text kullanarak hem SEO’da, hem de tarama bütçesinde göz görülür fark elde edebilmeniz mümkün. Genel olarak, ne kadar çok kaliteli dış bağlantınız varsa Googlebot o kadar sık sitenizi tarar. Ancak, bahsettiğimiz sadece backlink değil!
Dahili bağlantılara da oldukça ihtiyacınız olacak. Sık taranan bir sayfadan dahili bağlantı alan yeni sayfa, dizine daha hızlı eklenecektir.
- Sitenizi temiz tutun
Yinelenen ve düşük kaliteli sayfalar crawl budget kaynağınıza zarar verir. Bu nedenle, gereksiz, eski ya da yinelenen sayfalardan kurtulmalısınız. Büyük sitelerde zor olsa bile, hem tarama bütçesi, hem de arama motoru optimizasyonu için bunu ihmal etmemelisiniz.