Merhabalar.Bu yazımızın konusu, Google ve diğer arama motorlarına rehberlik eden robots.txt dosyasının ne olduğunu ve nasıl kullanılabileceği. Eğer hazırsanız, bu uzun aranın ardından bilgilendirici bir makaleyle yazımıza başlayalım.

Robots.TXT nedir? 

Robots.TXT,sitemizi inceleyip indekslemeye gelen crawlerlara rehberlik yapan bir dosyadır. Yani; geziye çıkmış bir turiste

önderlik yapan tur rehberi gibi.

Robots.TXT nerede bulunmalıdır?

Robots.TXT dosyası,sitenizin kök dizininde ( /public_html ) klasöründe bulunmalıdır.

Robots.TXT ne işe yarar?

Sitenize giren arama motorlarına nereleri indeksleyip nereleri indekslememesini sağlar.

Robots.TXT bunları nasıl yapar?

Robots.TXT’ye önce arama motorlarını tanıtmamız gerekir. Yani,

User-Agent: Google   diyerek,Google arama motoruna gerekli komutları vermiş oluyoruz. Google arama motorundan “Arama” klasörünü kaldırmak için ise aşağıdaki kodu yazmamız gerekli.

User-Agent: Google
Disallow: /Arama/

Google’dan iyinetwebmasterforumu2008seoyarismasi.html dosyasını gizlemek istiyoruz. O zaman ise:

User-Agent: Google
Disallow: /iyinetwebmasterforumu2008seoyarismasi.html

Dediğimiz takdirde; Google bu dosyayı arama sonuçlarına sokmayacaktır.

Tüm arama motorlarına siteyi tamamen açmak:
Eğer aşağıdaki kodu robots.txt dosyasına yazarsanız,hiçbir arama motorundan sayfalarınız gizlenmeyecektir.

User-Agent: *
Disallow:

Tüm Arama motorlarından siteyi gizlemek:
İnternet sitenizin arama motorları tarafından indexlenmesini önlemek için aşağıdaki kodu robots.txt dosyasına yazmanız yeterlidir.

User-Agent: *
Disallow: /

Bir yazımızın daha sonuna geldik. Diğer yazıya kadar,görüşmek üzere!