logo

Robots Txt Dosyası

robots.txt

Robots.txt; İnternet sitelerini incelemeye gelen arama motorlarının robotlarına yol gösteren bir dosyadır.

 

Arama motorlarının internet sitelerini inceleyen, küçük programcıkları vardır. Bunlara Bot, Örümcek ya da Robot adı verilir. Bu robotlar belirli aralıklarla internet sitelerini gezer ve incelerler.

 

İnternet sitesini incelemeye gelen robot öncelikle robots.txt dosyasını arar. Eğer bu dosya varsa önce bu dosyayı inceler. Daha sonra da bu dosyada belirtilen kurallar dahilinde web sitesinin incelemesine geçer ve yine bu kurallara uygun olarak siteyi index'ler.

 

Eğer bu dosya yoksa, incelemeye gelen robot, siteyi kendi kuralları ile inceler ve indexler.

 

Robots.txt dosyası mutlaka olmak zorunda değildir. Sitenize gelen arama motorlarının robotları, bu dosya olmasa bile yine sitenizi inceler ve indexler. Ancak, arama motorları, internet sitelerinde bu dosyanın olmasına önem verirler. Çünkü bu dosya, robotların daha verimli çalışmasını sağlar. Bu nedenle web sitesinde robots.txt dosyasının bulunmasında büyük fayda vardır.

 

Bu dosya ile arama motorlarının robotlarına, incelemesini ve index'lemesini istediğimiz klasör veya web sayfalarını belirtebileceğimiz gibi, incelemesini ve index'lemesini istemediğimiz klasör veya web sayfalarını da belirtebiliriz. Örnek olarak, web sitemizde bulunan resimlerin incelenmemesini ve index'lenmemesini isteyebiliriz. Bunun için robots.txt dosyasına gerekli komutları yazmamız yeterlidir.

 

Bu yönü ile bu dosya, robotlara incelenmesini veya incelenmemesini istediği klasör ve web sayfalarını belirterek zamandan tasarruf sağlar.

Copyright © 2013 | Site Gezgini.Com