Robots txt
Robots.txt je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu (složka www).
Příklady
- * - všichni roboti
- Mezi položkami musí být prázdný řádek!
Zakázání indexování vyhledavačů
User-agent: * Disallow: /
Zakázaní googlbotu indexovat vše v adresáři /adr
User-Agent: Googlebot Disallow: /adr/
Zakázání indexování vyhledavačů pro jednitlivé složky v kořenovém adresáři
User-agent: *
Disallow: /slozka/
Zakáže googlbotu procházení celého webu, ale povolí mu adresář /adr/
User-Agent: Googlebot
Disallow: /
Allow: /adr/
obr. 11-8 Nastavení - robots.txt
