Sponsor Google

7 Haziran 2017 Çarşamba

Robots.txt Dosyasının Kullanımı

Robots.txt Dosyasının Kullanımı
robots.txt Robots.txt, sitenizdeki URL veya dizinlerin arama motorları tarafından listelenip/listelenmeyeceği bilgisini veren dosyadır. Tüm arama motorlarını kapsayacak şekilde de, arama motoruna göre de düzenlenebilir. Arama motoru robotları(botları) sitenize ulaştıklarında ilk bakacakları yer robots.txt dosyasıdır. Bu dosya sitenin ana dizininde, eğer klasöre özel tanımlama varsa klasörün içerisinde bulunulmalıdır.
Robots.txt dosyası ile sağlanan bu işlevi Meta Taglar yardımıyla da yapabiliyoruz. Fakat Robots.txt dosyasının görevi sadece bu olduğundan dolayı bunun kullanılması tercih edilir.
Bu dosya genelde yönetim paneli gibi ziyaretçiyi ilgilendirmeyen gizli sayfaların arama motorları tarafından listelenmemesi için kullanılır.
Şimdi birkaç örnek ile bu dosyanın nasıl kullanılacağına göz atalım..
Tüm robotların sitenizin tamamını indexlemesini istiyorsanız;

User-agent: *
Disallow:
veya
User-agent: *
Allow: /

Tüm robotların sitenizin tamamını indexlenmesini engellemek istiyorsanız;
User-agent: *
Disallow: /

Sadece bir robot tarafından indexlenmesini engelleyip, diğerleri tarafından indexlenmesini istiyorsanız;
User-agent: Msnbot
Disallow: /
User-agent: *
Disallow:

Sadece bir dosyanın veya dizinin indexlenmesini engellenmesini istiyorsanız;
User-agent: *
Disallow: /dizin_adi/
Disallow: /dosya_adi.html
Sadece listelenmesi engellenecekleri belirtmeniz geri kalan tüm sayfa/dizinlerin listeleneceği anlamına gelir.
Sitemap dosyasının bildirimi;
Sitelerin sitemap dosyasını robots.txt dosyası yardımıyla arama motorlarına bildirebiliyoruz.
Sitemap: http://www.akblog.net/sitemap.xml

Not: Bu komutları boş bir text(not defteri) dosyası oluşturup, içine yazıp/kopyalayıp ve dosyanın ismini “robots.txt” olarak belirledikten sonra ana dizine atmanız yeterli olacaktır. Burada birkaç örneğin mantığı kavramanıza yardımcı olacağını düşündüm. Eğer şu durumda nasıl bir komut yazmamız gerekir diye bir sorunuz olursa konu altına yorum olarak yazabilirsiniz.

Konu sahibi: www.mustafayasar.net


Sponsor Bağlantılar - Reklam
Istanbul ithalat - ithal Çin ürünleri

1 yorum:

  1. Hani damacanadan sürahiye su doldurursun ya
    Hani çeşme başına gidip Susadım çeşmeye dersin ya

    YanıtlaSil

Yorumlarınız bizim için önemlidir. Konu hakkında sormak istediklerinizi yazabilirsiniz.
Istanbul ithalat - ithal Çin ürünleri