Veel website-exploitanten zijn onrustig. Blijkbaar moet je absoluut een bestand hebben met de naam robots.txt. Wat is het?
Windows + Linux / Engels / Open Source. Als je een homepage hebt, wil je meestal gevonden worden. De frustratie is groot als je eigen pagina niet op Google verschijnt. Dit kan te wijten zijn aan het robots.txt-bestand. Maar alleen als het er is. Dit bestand kan maar één ding doen: verbieden.
In het robots.txt-bestand kunt u automatische programma's die 24 uur per dag op internet surfen, de toegang tot uw pagina's verbieden. Je kunt het verbod over de hele linie uitspreken voor al deze robots of voor bepaalde. U kunt uw pagina's volledig of alleen bepaalde gebieden blokkeren.
Als het bestand niet bestaat, zijn er dus ook geen verboden. Uw pagina's staan open voor alle zoekmachines. Als je nog steeds niet op Google verschijnt, rijst een heel andere vraag: heb je je pagina's al geregistreerd? Het beste is om dat meteen te doen. Vul hier eenvoudig het adres in:
https://www.google.com/webmasters/tools/submit-url
Om dit te doen, moet u inloggen op uw Google-account.
Om een ontbrekend robots.txt-bestand een probleem te laten zijn, zou de server ook verkeerd moeten worden geconfigureerd. Dan kan een robot proberen toegang te krijgen tot het bestand en ongebruikelijke foutmeldingen tegenkomen, waardoor het proces wordt afgebroken. Maar dit geval is zeer onwaarschijnlijk.
Als je een robots.txt-bestand wilt maken, sla het dan op in de hoofdmap van je webserver. Als je iedereen alles wilt laten doen, schrijf dan het volgende erin:
Gebruikersagent: *
Niet toestaan:
De regel "User-Agent" geeft aan voor wie het verbod geldt. * betekent: voor iedereen. De regel "Disallow" drukt het verbod uit. Als er niets meer is, betekent dit dat alle toegangen zijn toegestaan.
Meer over het onderwerp:Gordijn omhoog, hier komt je website: hoe maak je een website met weinig moeite
