Tags: dosyasını, olarak, robots.txt, kök, klasörünün, aranmasını, yönerge, disallow, takdirde, arama, örneğin, bulunmaktadır

 Arama motorları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasını inceler doalyısı ile diğer dizinlere bu dosyayı yerleştirmenin bir faydası yoktur.

Robots.txt dosyasının içerisinde Disallow ve allow yönergeleri bulunmaktadır.  Örneğin "cgi" klasörünüzün indekslenmesini istemiyorsunuz. O takdirde buraya yönerge olarak Disallow: /cgi diyorsunuz ve "cgi" klasörünün aranmasını engellemiş oluyorsunuz. Ya da "Site" klasörünün aranmasını ve indexlenmesini istiyorsunuz o takdirde Allow: /Site çeklinde yönerge oluşturuyoruz ve arama motoruna yol göstermiş oluyoruz.

 

Örnek Robots.txt dosyası:
-------------------------
User-Agent: *# bu parametre bütün arama motorları sitemi indexlesin demek.
Disallow: /cgi #cgi klasörü indexlenmesin demek
Disallow: /yonetici #Yonetici klasörü indexlenmesin demek
Disallow: /resimler #Resimler klasörü indexlenmesin demek
Disallow: /ogretmenler #Ogretmenler klasörü indexlenmesin demek
Disallow: /ozel/gizlisayfa.html #Bu, dosyanın indexlenmesini engeller. Yani sadece klasör değil dosyaları da bu şekilde engeleleybiliriz.
Allow: /Site #Site klasörü indexlensin demek
Allow: /Joomla #Joomla klasörü indexlensin demek
Allow: /Forum #Forum klasörü indexlensin demek
Sitemap: http://www.joomlasite.eu/joomlasitemap.xml # bu şekilde site haritamızı da gösterebiliriz.

Yukarıdaki örnekler ışığında kendi sitenize göre bir Robots.txt dosyası oluşturun ve sitenizin ana dizinine atın. Burada hangi kalasörlerin ya da dosyaların aranmasını hangilerinin aranmamasını istediğinizi belirtmiş ve arama motorlarının işini kolaylaştırmış olacaksınız.

Joomla sitesi olanlar zaten bu robots.txt dosyasına sahipler. joomla paketi ile birlikte gelmekte. Şayet yoksa bu dosyayı oluşturup özellikle admin, component, cgi cb. klasörlerin aranmamasını sağlayabilirsiniz...

Tags: dosyasını, olarak, robots.txt, kök, klasörünün, aranmasını, yönerge, disallow, takdirde, arama, örneğin, bulunmaktadır

Yorum ekle


Güvenlik kodu
Yenile

JOOMLA'NIN TARİHİ

yotau_İçerik Yönetim Sistemlerinin popülerliği her geçen gün artıyor. Bu popülerliğin içinde içerik yönetim sistemleri kendi aralarında da yarışmaya devam ediyor. İçerik Yönetim Sistemlerinin birbirleri ile yarışıyor olması elbette iyi ve biz bu yarışı hep takip edeceğiz. Kazanan ya da ileride giden kim olursa olsun sonuçta kazanan hepimiz olacağız, İnternet dünyası, web dünyası olacak.  Devamını oku...
Tags: dosyasını, olarak, robots.txt, kök, klasörünün, aranmasını, yönerge, disallow, takdirde, arama, örneğin, bulunmaktadır