FAQ- / Wissensdatenbank

Warum sind in den Logs meiner Website viele Zugriffe auf die robots.txt ersichtlich?

 

Ein Großteil der Suchmaschinen arbeitet nach dem Robots-Exclusion-Standard-Protokoll. Dies hat zur Folge, dass der Webcrawler/Robot zuerst versucht die Datei robots.txt im Hauptverzeichnis der Domain zu lesen. Dieser Datei kann der Robot dann entnehmen, ob und wie die Website von Webcrawlern besucht werden darf.

Generell ist hier jedoch zu beachten, dass sich nicht alle Suchmaschinen an die robots.txt halten und somit auch Bereiche indexieren, welche gem. der robots.txt nicht von Webcrawlern besucht werden sollen.

Weitere Informationen zu diesem Thema finden Sie z.B. unter Wikipedia:
Robots Exclusion Standard

 

5 (1)
Bewertung (1 Stimmen)
Bewerten Sie diesen Aritkel
    Anhänge
    Es gibt keine Anhänge zu diesem Artikel.
    Verwandte Artikel RSS Feed
    Wo finde ich den Login zu Webmail?
    Hinzugefügt am Thu, Oct 21, 2010
    Wie richte ich einen Cronjob / "Geplante Aufgabe" in Plesk ein?
    Hinzugefügt am Thu, Mar 5, 2015
    Wie kann ich die Logindaten für meine Domainregistrierung erzeugen?
    Hinzugefügt am Wed, Jan 9, 2019
    Wie lautet der Handler für PHP?
    Hinzugefügt am Wed, Apr 25, 2012
    Wie kann ich einen zusätzlichen FTP-Benutzer anlegen?
    Hinzugefügt am Wed, Mar 18, 2009