FAQ- / Wissensdatenbank

Warum sind in den Logs meiner Website viele Zugriffe auf die robots.txt ersichtlich?

 

Ein Großteil der Suchmaschinen arbeitet nach dem Robots-Exclusion-Standard-Protokoll. Dies hat zur Folge, dass der Webcrawler/Robot zuerst versucht die Datei robots.txt im Hauptverzeichnis der Domain zu lesen. Dieser Datei kann der Robot dann entnehmen, ob und wie die Website von Webcrawlern besucht werden darf.

Generell ist hier jedoch zu beachten, dass sich nicht alle Suchmaschinen an die robots.txt halten und somit auch Bereiche indexieren, welche gem. der robots.txt nicht von Webcrawlern besucht werden sollen.

Weitere Informationen zu diesem Thema finden Sie z.B. unter Wikipedia:
Robots Exclusion Standard

 

0 (0)
Bewertung ()
Bewerten Sie diesen Aritkel
    Anhänge
    Es gibt keine Anhänge zu diesem Artikel.
    Verwandte Artikel RSS Feed
    Was bedeutet die Fehlermeldung "Relay access denied"?
    Hinzugefügt am Mon, Aug 25, 2008
    Ich erhalte Mails oft zeitverzögert. Woran liegt das?
    Hinzugefügt am Thu, Dec 18, 2008
    Was muss ich beachten, wenn ich Moodle verwenden will?
    Hinzugefügt am Thu, Mar 17, 2011
    Besteht Zugriff auf das error_log des Webservers?
    Hinzugefügt am Fri, Apr 20, 2012
    Wie kann ich eine Domain per .htaccess weiterleiten?
    Hinzugefügt am Mon, Mar 23, 2015