Robots.txt Dosyasının Kullanımı
robots.txt Robots.txt, sitenizdeki URL veya dizinlerin arama motorları tarafından listelenip/listelenmeyeceği bilgisini veren dosyadır. Tüm arama motorlarını kapsayacak şekilde de, arama motoruna göre de düzenlenebilir. Arama motoru robotları(botları) sitenize ulaştıklarında ilk bakacakları yer robots.txt dosyasıdır. Bu dosya sitenin ana dizininde, eğer klasöre özel tanımlama varsa klasörün içerisinde bulunulmalıdır.Robots.txt dosyası ile sağlanan bu işlevi Meta Taglar yardımıyla da yapabiliyoruz. Fakat Robots.txt dosyasının görevi sadece bu olduğundan dolayı bunun kullanılması tercih edilir.
Bu dosya genelde yönetim paneli gibi ziyaretçiyi ilgilendirmeyen gizli sayfaların arama motorları tarafından listelenmemesi için kullanılır.
Şimdi birkaç örnek ile bu dosyanın nasıl kullanılacağına göz atalım..
Tüm robotların sitenizin tamamını indexlemesini istiyorsanız;
User-agent: *
Disallow:
veya
User-agent: *
Allow: /
Tüm robotların sitenizin tamamını indexlenmesini engellemek istiyorsanız;
User-agent: *
Disallow: /
Sadece bir robot tarafından indexlenmesini engelleyip, diğerleri tarafından indexlenmesini istiyorsanız;
User-agent: Msnbot
Disallow: /
User-agent: *
Disallow:
Sadece bir dosyanın veya dizinin indexlenmesini engellenmesini istiyorsanız;
User-agent: *
Disallow: /dizin_adi/
Disallow: /dosya_adi.html
Sadece listelenmesi engellenecekleri belirtmeniz geri kalan tüm sayfa/dizinlerin listeleneceği anlamına gelir.
Sitemap dosyasının bildirimi;
Sitelerin sitemap dosyasını robots.txt dosyası yardımıyla arama motorlarına bildirebiliyoruz.
Sitemap: http://www.akblog.net/sitemap.xml
Not: Bu komutları boş bir text(not defteri) dosyası oluşturup, içine yazıp/kopyalayıp ve dosyanın ismini “robots.txt” olarak belirledikten sonra ana dizine atmanız yeterli olacaktır. Burada birkaç örneğin mantığı kavramanıza yardımcı olacağını düşündüm. Eğer şu durumda nasıl bir komut yazmamız gerekir diye bir sorunuz olursa konu altına yorum olarak yazabilirsiniz.
Konu : www.mustafayasar.net
Hani damacanadan sürahiye su doldurursun ya
YanıtlaSilHani çeşme başına gidip Susadım çeşmeye dersin ya