Kısaca Bilgi Vermek Gerekirse;
+ User-agent: aşağıdaki kuralın geçerli olduğu robot
+ Disallow: engellemek istediğiniz URL
+ Allow: izin vermek istediğiniz URL (Engellenmediği sürece bütün veriler izin vermişmiş sayılır.)
Bazı örnekler ile olayı daha iyi anlamanızı şu şekilde sağlayabilirim.
Sadece Google Botlarının Gelmesini Engellemek için
User-agent: Googlebot
Disallow: /admin/
Yukarıda Google tarafından gelen botu engellemiş olduk. Böylece Google botu admin klasörüne giriş yapmayacaktır. Peki, bütün botlarda bunu nasıl engelleyebiliriz?
İşte şöyle;
User-agent: *
Disallow: /admin/
Yukarıdaki kod ile bütün botları engellemiş olduk. Hiçbir bot admin klasörüne giremeyecektir. Burada bulunan * işareti evrensel seçicidir ve hepsini seç ifadesi yerine kullanılmaktadır. Şimdi dizinde bulunan bütün her şey için işlemleri nasıl yapılır bunu görelim;
User-agent: *
Disallow: /
Yukarıda Disallow değerine hiçbir değer girmediğimizden bütün dizin ve dosyalar anlamındadır. Burada bütün dizin ve dosyalar, tüm botlar tarafından girilmesi, indexlenmesi yasaklanmıştır.
Engelleme işlemleri ile ilgili örnekler ve açıklamalar şu şekildedir;
Sitenin tamamını engellemek için düz eğik çizgi kullanın.
Disallow: /
Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun. Böylece o klasör ve içinde yer alan her şey engellenecektir.
Disallow: /admin/
Bir sayfayı engellemek için şu şekilde tanımlama yapmak gerekmektedir. Örnekteki gibi sadece admin.html dosyası engellenecektir.
Disallow: /admin.html
Belirli bir görseli engellemek için görsel materyalin bulunduğu adresi tam yazmalısınız. Örneğin Google görsel botlarından engellemek istiyorsak o zaman şöyle bir kodlama yapmamız gerekmektedir.
User-agent: Googlebot-Image
Disallow: /resimler/gizli.jpg
Sadece belirli bir görseli engellemek istemiyor, bütün dizinde yer alan görselleri engellemek için şu şekilde kodlama yapmamız gerekmektedir.
User-agent: Googlebot-Image
Disallow: /
Engellemek istediğiniz görsel sadece uzantıya göre yapacaksanız o zaman uzantısını belirterek o uzantıya ait bütün görselleri engelleyebilirsiniz. Örneğin .jpg uzantısına ait olan görselleri engelleyelim. Sadece görseller için değil uzantısı farklı olanlar için de bu kullanılır.
2. Örnek ise bu açıklamaya örnektir.
User-agent: Googlebot-Image
Disallow: /*.jpg$
User-agent: Googlebot
Disallow: /*.html$
Yukarıdaki $ işareti sonu anlamındadır. Yani o işaretin solunda yer alan değer bu ifade ile bitenleri temsil etmektedir. Mesela şöyle bir örnekleme yapalım. Sonu xml ile biten bütün verileri engelleyelim.
User-agent: Googlebot
Disallow: /*.xml$
[NOT]Bütün yazı boyunca yer alan * işaretinin evrensel seçici olduğundan bahsettik. Evrensel yani bütümü seçmeyip sadece tek bir karakter seçmek isteyenler ise ? İşaretini kullanabilirler.[/NOT]
[NOT]robots.txt dosyanızı sitenizin bulunduğu ana dizine atmanız gerekmektedir. Yani şöyle;
ibrahimcevruk.com/robots.txt DOĞRU olandır.
ibrahimcevruk.com/site/robots.txt YANLIŞ'tır.[/NOT]
Son Olarak Bütün Öğrendiklerimizi Bir Örnekte Birleştirelim;
1 - Sitede admin panelinin, üyelerin üye girişi yapmadan erişilmesini istemediğimiz alanları engelleyelim. Şimdi engellememiz gereken ilk klasörümüz Yönetim işlemlerinin yapıldığı klasörü ve altında yer alan dosyalardır.
2 - Üye olan birisi üye girişi yapmışsa kayıt ol sayfasına mantıken ulaşmaması gerektir. O zaman kayıt ol sayfası riskli bir alan olduğundan isterseniz bunu da gizletelim.
3 - Diyelim ki yine admin klasöründe yer alan görsel verileri de gizlilikten dolayı engellemek istiyoruz o zaman
1-Disallow: /admin/
2-Disallow: /kayitol.php
3-Disallow: /admin/resimler/
Yukarıdaki bilgileri bir txt içine yazacaksak o zaman bu yazacaklarımız şu şekilde olacaktır;
User-agent: *
Disallow: /admin/
Disallow: /kayitol.php
Disallow: /admin/resimler/
Yukarıdaki bilgileri robots.txt ile sitenize atarsanız sizin için güvenli, faydalı bir işlem olacaktır. Arama motorları sitenize ilk uğradığında txt dosyasına bakacak ve sonrasında engellenen yerlere uğramadan bunların dışında kalan yerleri tarayacaktır.