Arama motorları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasını inceler doalyısı ile diğer dizinlere bu dosyayı yerleştirmenin bir faydası yoktur.

Robots.txt dosyasının içerisinde Disallow ve allow yönergeleri bulunmaktadır.  Örneğin "cgi" klasörünüzün indekslenmesini istemiyorsunuz. O takdirde buraya yönerge olarak Disallow: /cgi diyorsunuz ve "cgi" klasörünün aranmasını engellemiş oluyorsunuz. Ya da "Site" klasörünün aranmasını ve indexlenmesini istiyorsunuz o takdirde Allow: /Site çeklinde yönerge oluşturuyoruz ve arama motoruna yol göstermiş oluyoruz.

Örnek Robots.txt dosyası:
-------------------------
User-Agent: *# bu parametre bütün arama motorları sitemi indexlesin demek.
Disallow: /cgi #cgi klasörü indexlenmesin demek
Disallow: /yonetici #Yonetici klasörü indexlenmesin demek
Disallow: /resimler #Resimler klasörü indexlenmesin demek
Disallow: /ogretmenler #Ogretmenler klasörü indexlenmesin demek
Disallow: /ozel/gizlisayfa.html #Bu, dosyanın indexlenmesini engeller. Yani sadece klasör değil dosyaları da bu şekilde engeleleybiliriz.
Allow: /Site #Site klasörü indexlensin demek
Allow: /Joomla #Joomla klasörü indexlensin demek
Allow: /Forum #Forum klasörü indexlensin demek
Sitemap: http://www.joomlasite.eu/joomlasitemap.xml # bu şekilde site haritamızı da gösterebiliriz.

Yukarıdaki örnekler ışığında kendi sitenize göre bir Robots.txt dosyası oluşturun ve sitenizin ana dizinine atın. Burada hangi kalasörlerin ya da dosyaların aranmasını hangilerinin aranmamasını istediğinizi belirtmiş ve arama motorlarının işini kolaylaştırmış olacaksınız.

Joomla sitesi olanlar zaten bu robots.txt dosyasına sahipler. joomla paketi ile birlikte gelmekte. Şayet yoksa bu dosyayı oluşturup özellikle admin, component, cgi cb. klasörlerin aranmamasını sağlayabilirsiniz...