Yeni bir site kurduğunuzda büyük olasılıkla Google' da veya diğer arama motorlarında gözükmesini ve diğer kullanıcılar tarafından ulaşılabilmesini isteyeceksiniz. Bu yazımızda robots.txt dosyasından bahsedeceğiz.
Hemen öncesinde eğer ki hosting ya da VDS / VPS ihtiyacınız varsa internet sitemize göz atabilirsiniz.
Google ve diğer tarayıcıların siteleri analiz edip kendi dizinlerine eklemek için botları bulunuyor. Bu botlar sitenizi ziyaret edip sayfaları kendi dizinlerine ekleyebiliyorlar. Harici olarak bir metin dosyası ile bu botları kontrol edebilmeniz mümkün. Bu botlara, sitenizde bulunan hangi içerikleri / sayfaları dizine ekleyeceklerini ya da hangilerini eklemeyeceklerini belirtebilirsiniz. İşte tam da bu metin dosyası robots.txt dosyası olacak. Bahsettiğimiz gibi bu dosya sitenizi ziyaret eden botların uyması istenen kuralları içerir. Bu çoğu zaman iyi bir şey olsa da yanlış ayarlandığında sitenizin bazı önemli sayfalarının arama motorlarına eklenmesine engel olabilir.
Birkaç Örnek Verelim
Sitenizi ziyaret eden botları nasıl yönetebileceğinizi gösteren birkaç örnek verelim.
Tüm Site Arama Motorlarına Eklensin İstiyorsanız
User-agent: * Disallow:
Hiçbir Sayfa Arama Motorlarına Eklenmesin İstiyorsanız
User-agent: * Disallow: /
Yukarıdaki örnekler oldukça genel örneklerdir. Sadece bir dosyanın listelenmesini istiyorsanız ya da sadece bir dosyanın Google harici arama motorlarında listelenmesini istiyorsanız gerekli düzenlemeleri yaparak ihtiyaçlarınıza göre kullanabilirsiniz. O halde biraz da yapısını inceleyelim.
"User-agent" ile başladığını yukarıdaki örnekte görebiliyoruz. Yıldız işareti ilgili kuralın tüm her şey için geçerli olacağını göstermektedir. Belirli bir bot için özel olarak yazmak istiyorsanız o alana botun adını yazabilirsiniz. Sonrasında yazdığınız her şey artık o bot için geçerli olacaktır.
Örneğin aşağıdaki komutta, sitenize gelen Google botları /yazi klasörünü arama sorgularına eklemezken, diğer tüm botlar /yazi klasörünü de kendi sorgularına ekleyecektir.
User-agent: Googlebot Disallow: /yazi/ User-agent: * Disallow:
Bu şekilde baktığınızda gözünüze karmaşık gelmiş olabilir. Google' a "Robots.txt Generator" yazdığınızda çıkan sitelerden herhangi biri ile çok daha rahat bir şekilde düzenlemelerinizi yapabilirsiniz.
İşte tam da bu şekilde gereksiz dizinlerin ya da dosyaların arama sonuçlarında gözükmesini engelleyebilirsiniz. Daha sonrasında bu konu ile alakalı daha detaylı bir anlatım da yayınlayacağız.
Bilgi bankasını detaylı olarak incelediniz, fakat ihtiyacınız olan bilgiyi bulamıyorsanız,
Bir Destek Talebi Oluşturun.