Robots.txt

Definice

Robots.txt je textový soubor umístěný v kořenovém adresáři webu, který dává vyhledávacím robotům (crawlerům) instrukce, které části webu mají nebo nemají procházet. Nejde o mechanismus ke skrytí stránky před veřejností, ale o doporučení pro crawlery – citlivá data se jím nezabezpečí.

Aplikace

E-shop může přes robots.txt zakázat procházení interních vyhledávacích výsledků nebo administračního rozhraní, aby vyhledávače nepromrhaly svůj „crawl budget“ na nerelevantní části webu a místo toho lépe zaindexovaly produktové stránky.