MWN9LGx8LGF4NWZcMqR5NWVdLTcsynIkynwbzD1c

Robots.txt Dosyasının Kullanımı

Ak Blog SEO
4349759590016280108

Robots.txt Dosyasının Kullanımı

7 Haziran 2017 Çarşamba

Robots.txt Dosyasının Kullanımı

robots.txt Robots.txt, sitenizdeki URL veya dizinlerin arama motorları tarafından listelenip/listelenmeyeceği bilgisini veren dosyadır. Tüm arama motorlarını kapsayacak şekilde de, arama motoruna göre de düzenlenebilir. Arama motoru robotları(botları) sitenize ulaştıklarında ilk bakacakları yer robots.txt dosyasıdır. Bu dosya sitenin ana dizininde, eğer klasöre özel tanımlama varsa klasörün içerisinde bulunulmalıdır.
Robots.txt dosyası ile sağlanan bu işlevi Meta Taglar yardımıyla da yapabiliyoruz. Fakat Robots.txt dosyasının görevi sadece bu olduğundan dolayı bunun kullanılması tercih edilir.
Bu dosya genelde yönetim paneli gibi ziyaretçiyi ilgilendirmeyen gizli sayfaların arama motorları tarafından listelenmemesi için kullanılır.
Şimdi birkaç örnek ile bu dosyanın nasıl kullanılacağına göz atalım..
Tüm robotların sitenizin tamamını indexlemesini istiyorsanız;

User-agent: *
Disallow:
veya
User-agent: *
Allow: /

Tüm robotların sitenizin tamamını indexlenmesini engellemek istiyorsanız;
User-agent: *
Disallow: /

Sadece bir robot tarafından indexlenmesini engelleyip, diğerleri tarafından indexlenmesini istiyorsanız;
User-agent: Msnbot
Disallow: /
User-agent: *
Disallow:

Sadece bir dosyanın veya dizinin indexlenmesini engellenmesini istiyorsanız;
User-agent: *
Disallow: /dizin_adi/
Disallow: /dosya_adi.html
Sadece listelenmesi engellenecekleri belirtmeniz geri kalan tüm sayfa/dizinlerin listeleneceği anlamına gelir.
Sitemap dosyasının bildirimi;
Sitelerin sitemap dosyasını robots.txt dosyası yardımıyla arama motorlarına bildirebiliyoruz.
Sitemap: http://www.akblog.net/sitemap.xml

Not: Bu komutları boş bir text(not defteri) dosyası oluşturup, içine yazıp/kopyalayıp ve dosyanın ismini “robots.txt” olarak belirledikten sonra ana dizine atmanız yeterli olacaktır. Burada birkaç örneğin mantığı kavramanıza yardımcı olacağını düşündüm. Eğer şu durumda nasıl bir komut yazmamız gerekir diye bir sorunuz olursa konu altına yorum olarak yazabilirsiniz.

Konu : www.mustafayasar.net


Etiketler
Ak Blog SEO - Google SEO Eğitimleri Dokümanları
  1. Hani damacanadan sürahiye su doldurursun ya
    Hani çeşme başına gidip Susadım çeşmeye dersin ya

    YanıtlaSil
Konu hakkında sormak istediklerinizi yazabilirsiniz.
AK Blog SEO

Read. Think. Exercise (Oku. Düşün. Uygula.)

SEO | SEO | Hukuk | İngilizce Kursu |
Siz hayal edin. Biz Hayata geçirelim.
Akblog.NET
Whatsapp İletişim Formu×
Bilgileriniz
İstek Bilgileriniz
iletişime geç

Merhaba!

Webekle@gmail.com adresine e-posta gönderin veya aşağıdaki temsilcilerimizden biriyle WhatsApp ile iletişime geçin.

Yönetim Ekibi Yönetici ile iletişim geçin.
+905050251428
Destek Ekibi Eva ile iletişime geçin.
+905050251428
Doğrudan arayabilirsiniz +905050251428
Destek Saatleri 09:30 - 17:30
Merhaba! Nasıl Yardımcı Olabiliriz?
×
Nasıl Yardımcı olabilirim?