Zowat alle zoekmachines die je site proberen te indexeren starten met het opvragen van je robots.txt.
Dit bestand wordt in de root van je site geplaatst. Een voorbeeldje hoe zo’n robots.txt er uit ziet :
User-agent: *
Disallow: /images/
Het sterretje achter de User-agent wil zeggen dat elke zoekmachine op de site mag gaan indexeren.
Met de functie Disallow kunnen we bepaalde mappen van je site afschermen, die mogen dus niet geïndexeerd worden.
Entries (RSS)