Robots.txt

Definícia

Robots.txt je textový súbor umiestnený v koreňovom adresári webu, ktorý dáva vyhľadávacím robotom (crawlerom) inštrukcie, ktoré časti webu majú alebo nemajú prehľadávať. Nejde o mechanizmus na skrytie stránky pred verejnosťou, ale o odporúčanie pre crawlery – citlivé dáta sa ním nezabezpečia.

Využitie

E-shop môže cez robots.txt zakázať prehľadávanie interných vyhľadávacích výsledkov alebo administračného rozhrania, aby vyhľadávače nepremrhali svoj „crawl budget“ na nerelevantné časti webu a namiesto toho lepšie preindexovali produktové stránky.