Met een robots.txt file geef je aan welke delen van je website wel en niet in de zoekresultaten van zoekmachines mogen belanden. Dat kan goed zijn voor je SEO. Maar dan moet je wel weten hoe het werkt. Je hebt geluk! Want in deze blog vertellen wij je alles wat je moet weten over robots.txt files. 

Wat is een robots.txt file? 

In den beginnen was het internet nog relatief overzichtelijk, onschuldig en gestructureerd. Maar al snel begon het World Wide Web zich uit te breiden. Er kwamen talloze websites bij. Zoekmachines waren binnen no-time essentieel om de weg te vinden op het eindeloze internet.

Die zoekmachines werden uitgerust met een leger spiders, crawlers, of robots (verschillende namen, zelfde idee). Deze bots gingen het hele internet over en rapporteerden alles wat ze zagen terug aan de zoekmachine. Dat heet indexeren. Zo konden zoekmachines mensen de weg wijzen op het web. 

Bots van nature heel nieuwsgierig. Ze willen graag alle informatie hebben. Daardoor komen ze ook wel eens op plekken waar ze niet horen te komen. Bijvoorbeeld op een webpagina met privé-informatie, of een website die nog in de maak is. 

Robots.txt wijst de weg 

Daarom werd in 1994 de ‘Robots Exclusion Protocol’ bedacht. Met andere woorden: robots.txt. Deze bestandjes wijzen spiders, crawlers en robots de weg. Ze zeggen welke delen van het internet niet geïndexeerd mogen worden, en welke wel. 

Met een robots.txt file kan jij voor jouw website bepalen welke delen wel en niet geïndexeerd mogen worden. Daarmee bepaal je dus ook welke delen wel en niet in de zoekresultaten mogen verschijnen. Wij hebben bijvoorbeeld de inlogpagina voor onze medewerkers afgeschermd voor alle crawlers. 

Als jij een robots.txt file hebt, vind je die op www.[jouw_website].nl/robots.txt. Die van ons kan je dus zien via www.hulc.nl/robots.txt. Ja, die paar regels zijn alles. Maar een robots.txt file kan veel groter zijn. Het ligt er maar net aan hoeveel delen van je website je wilt verbergen voor hoeveel crawlers. Kijk maar eens op www.google.com/robots.txt.  

Niet waterdicht

Een robots.txt file is zeker geen waterdichte manier om delen van je website af te schermen voor bezoekers en zoekmachines. Mensen kunnen altijd nog op ‘afgesloten’ delen van je site komen via een direct search of een link op een andere website. 

Ook zoekmachines kunnen jouw pagina’s op deze manier nog vinden. Soms indexeren ze zelfs afgeschermde pagina’s. Dan zijn ze toch in de zoekresultaten te zien. Maar met een robots.txt file beperk je in elk geval de schade door de crawlers tegen te houden. 

De voordelen van een robot.txt file voor je blog 

Met een robots.txt file laat je crawlers dus weten welke delen van je site ze wel en niet mogen indexeren. Dat kan verschillende voordelen hebben als je een blog hebt. Zo kan het de gebruiksvriendelijkheid, SEO en snelheid van je website verbeteren. We nemen de grootste voordelen van robots.txt files voor bloggers met je door. 

Hogere gebruiksvriendelijkheid 

Ten eerste verhoogt het gebruik van robots.txt files de gebruiksvriendelijkheid van je blog. Het zou toch stom zijn als jouw mediabieb, je drafts voor nieuwe blogposts, of jouw exclusieve content voor nieuwsbriefabonnees vindbaar zou zijn via Google. 

Dan komen mensen jouw site binnen op een plek waarin ze helemaal niks te zoeken hebben. Waar ze misschien niet eens weten wat ze moeten doen. Dat is nu niet bepaald goed voor jouw reputatie en de gebruiksvriendelijkheid van je website. Met een robots.txt file verberg je dit soort plekken voor zoekmachines. 

Betere SEO en ranking

Elke website die iets om SEO geeft, zou een robots.txt file moeten hebben. Dat vind ik niet alleen, dat vindt Google ook. Sterker nog: websites zonder robots.txt files worden vaak helemaal niet meer geïndexeerd door ‘s werelds grootste zoekmachine. Dan ben je dus praktisch onvindbaar en zijn al je SEO-activiteiten voor niks geweest.

Door via een robots.txt file aan te geven dat crawlers sommige delen van je website niet mat indexeren, nodig je ze ook uit om de rest van je website juist wel te indexeren. En dat is essentieel, want zonder een indexering door crawlers is je SEO niks waard. 

Meer bandbreedte voor echte bezoekers 

Je hoeft een robots.txt file niet alleen in te zetten om top secret pagina’s verborgen te houden. Je kan ook pagina’s niet geïndexeerd hoeven te worden uitsluiten van indexatie. Zolang een pagina open staat voor indexatie zullen er namelijk heel vaak bots langskomen om te checken of er iets verandert is op de pagina. 

Voor dat continue crawlen gebruiken de bots bandbreedte van jouw server. Het is maar een klein beetje, maar als je enorm veel pagina’s hebt, kunnen de crawlers echte bandbreedte-slurpers worden. Dat maakt je website trager voor echte bezoekers. Met een robots.txt file optimaliseer je dus ook de snelheid van je website (wat ook een belangrijk onderdeel van SEO is). 

Ga aan de slag met robot.txt files!

Ondertussen ben jij natuurlijk helemaal om. Jij moet ook zo’n robots.txt file hebben. Maar hoe fix je dat? In essentie is het heel simpel. Je maakt een tekstbestand aan (in een echte tekst-editor, dus niet in Word). In dat bestand geef je met bepaalde directives aan welke regels gelden voor welke crawler.

Met de directive ‘User-agent:’ zeg je voor welke bots de volgende directives gelden. Met ‘User-agent: *’ spreek je alle bots tegelijk aan. 

Vervolgens zeg je met de directive ‘Disallow:’ welke delen van je site de bot niet mag crawlen. Je zegt bijvoorbeeld ‘Disallow: /images/’ om de hele map met afbeelding af te sluiten voor bots. 

Tenslotte kan je met de directive ‘Allow:’ uitzonderingen toevoegen aan je vorige regel. Met ‘Allow: /images/logo.jpg’ zeg je dus dat jouw logo wél geïndexeerd mag worden (bijvoorbeeld voor Google Images). 

Vervolgens sla je je tekstbestand op ‘robots.txt’ en voeg je deze toe aan de bovenste map van je website. De root directory. Klaar is kees! 

Je kan nog in veel meer detail treden met robots.txt. Maar het is wellicht beter om dat aan een expert over te laten. Voor de basisdoeleinden van een blog heb je aan deze basis-kennis meestal voldoende. 

Instructievideo robots.txt files maken

Is het nog niet helemaal duidelijk hoe jij een robets.txt file moet toevoegen aan je blog? Kijk dan onderstaande video. Daarin wordt het nogmaals haarfijn uitgelegd. 

SEO verbeteren met Hulc

Een robots.txt file is essentieel voor een goede SEO van je blog. Maar er zijn nog veel meer manieren om je SEO te verbeteren. Bijvoorbeeld door middel van linkbuilding. Daar kan Hulc bij helpen. In onze database vind je meer dan 3700 bloggers en influencers die jou graag aan extra linkjes helpen. Weten hoe het werkt? Kijk op hulc.nl.