Zoekmachines weren met robots.txt
| Categorie | Zoekmachine en marketing |
| Geplaatst | 31-07-2004 |
| Laatste aanpassing | 25-07-2010 |
Sommige pagina's mogen niet door zoekmachines geïndexeerd worden. Dit kun je regelen met behulp van meta-tags, maar het kan gemakkelijker: met een robots.txt bestand.
Wat is robots.txt?
robots.txt is een tekstbestandje, zoals de extensie al zegt. Dit bestandje plaats je gewoon in de hoofdmap van je site. Als je niet van plan bent om gebruik te maken van robots.txt is het verstandig om toch een leeg tekstbestand te plaatsen dat robots.txt heet.
Het robots.txt bestand
Eerst begin je met dit:
Dit geeft aan welke spiders de pagina's die je straks gaat opgeven niet mogen indexeren. Als je een sterretje invult (zoals in het voorbeeld), mag geen enkele spider de pagina's indexeren. Klik hier voor een lijst met alle mogelijkheden.
Nu gaan we de pagina's invullen. Dat gaat zo:
Dit zegt tegen de ingevulde zoekmachine dat deze pagina niet geïndexeerd mag worden.Je kunt ook directories invullen:
Je kunt ook meerdere spiders opgeven:
