FAQ- / Wissensdatenbank
Artikel Suchergebnisse
- Warum sind in den Logs meiner Website viele Zugriffe auf die robots.txt ersichtlich? Ein Großteil der Suchmaschinen arbeitet nach dem Robots-Exclusion-Standard-Protokoll. Dies hat zur Folge, dass der Webcrawler/Robot zuerst versucht die Datei robots.txt im Hauptverzeichnis der Domain zu lesen. Dieser Datei kann der Robot... mehr...