Warum sind in den Logs meiner Website viele Zugriffe auf die robots.txt ersichtlich?

Ein Großteil der Suchmaschinen arbeitet nach dem Robots-Exclusion-Standard-Protokoll. Dies hat zur Folge, dass der Webcrawler/Robot zuerst versucht die Datei robots.txt im Hauptverzeichnis der Domain zu lesen. Dieser Datei kann der Robot dann entnehmen, ob und wie die Website von Webcrawlern besucht werden darf.

Generell ist hier jedoch zu beachten, dass sich nicht alle Suchmaschinen an die robots.txt halten und somit auch Bereiche indexieren, welche gem. der robots.txt nicht von Webcrawlern besucht werden sollen.

Weitere Informationen zu diesem Thema finden Sie z.B. unter Wikipedia:
Robots Exclusion Standard