Bir arama motoru robotu (İngilizce Crawler veya Spider) ya da arama robotu internetin hemen hemen her yerinden içerikler indirir ve bunları kendi özel veritabanına ekler. Bu robotun amacı web sayfalarının ne hakkında olduğu öğrenmektir. Robot ya da bot şeklinde ifade edilmesi web sitelerine otomatik erişim sağlayarak bilgi toplamasından kaynaklıdır. Ayrıca bu terim çeşitli kaynaklarda karşınıza Web Crawler olarak çıkabilir ve tamamen aynıdır.

Web Crawler Nedir?

İlk başta bahsettiğimiz gibi Web Crawler web sayfalarını tarayan ve dizine ekleyen arama motoru yazılımıdır. Ancak bu botlar düşündüğünüzden çok daha kapsamlıdır. Web sitelerinin tüm iç ve dış bağlantılarını meta etiketlerini, başlıklarını ve aklınıza gelebilecek tüm arama motoru optimizasyonunu ilgilendiren detayları ayrıştırarak toplama görevini yapar.

Ayrıca bu botlar, sayfalarındaki değişiklikleri tespit etmek ve güncellenmiş verileri önbelleğe girmek için arama motorunun veritabanında bulunan siteleri düzenli olarak ziyaret eder.

Aslında web crawler nedir sorusunun tek kelimelik bir yanıtı olabilir: Tarama.

Crawler Nasıl Çalışır?

Tahmin edebileceğiniz üzere arama robotları, arama motorlarında yapılan sorgulara en doğru yanıtı verebilmek için çalışır. Ancak arama sonuç sayfaları sadece tarama işlemi ile oluşturulmaz.  Arama sonuç sayfasının oluşturulması üç temel adıma dayanır;

• Tarama,
• İndeksleme,
• Sonuç sayfasını oluşturma.

Crawler çalışma prensibini açıklamak için internet güvenliği, içerik dağıtım ağı ve alan adı sunucu hizmetleri sağlayan ünlü şirket CloudFlare bir makalesinde şöyle açıklamıştır:

“İnternetin sunduğu tüm ilgili bilgileri bulmaya çalışmak için, bir arama robotu belirli bir dizi bilinen web sayfasıyla başlayacak ve daha sonra bu sayfalardan diğer sayfalara giden köprüleri takip edecek, diğer sayfalardan yine diğer sayfalara giden köprüleri izleyecek ve böylece devam edecek.

Halka açık internetin ne kadarının aslında arama motoru botları tarafından tarandığı bilinmemektedir. Bazı kaynaklar, internetin sadece %40-70’inin arama için dizine eklendiğini tahmin ediyor -ve bu milyarlarca web sayfası anlamına gelir.”

İnternette ne kadar web sayfası olduğunu bilmek mümkün olmadığı gibi, her saniye en az milyonlarca yeni web sayfası oluşturulduğunu tahmin etmek zor değil. Bu nedenle web crawler sitenize eriştiğinde ilk olarak site haritasını arar. Site haritasında, web sitenize ait olan bağlantı listeniz veya listeleriniz bulunur. Böylece, botlar kolayca yeni bağlantılarınızı keşfedecek ve her birinizi tarayacak devam edecek.