Robots.txt

Bir web sunucusuna yerleştirilen ve arama motorları için web sayfalarını dizine ekleyen robotlar olan arama motoru tarayıcılarına talimatlar veren bir dosya. Robots.txt dosyaları, web tarayıcılarına indekslerine neleri dahil etmeleri gerektiğini ve neleri göz ardı etmeleri gerektiğini söyler. Form sonuçları sayfaları (örneğin, kullanıcılar bir form gönderdiğinde tetiklenen “teşekkür ederim” sayfaları) gibi sayfalar arama motorlarından gizlenebilir.