Links & Law - Internetrecht und Suchmaschinenoptimierung für Juristen & Webmaster

Internetrecht für Juristen und Webmaster Suchmaschinen & Such-maschinenoptimierung Blog zu Internetrecht und Suchmaschinenoptimierung Links & Law SEO-Angebote Urteile zum Internetrecht Literatur zu SEO und Internetrecht  Lebenslauf / Impressum 

Suchmaschinen-Lexikon - Was ist der Robots Exclusion Standard? 

 

Nach der Übereinkunft des Robots Exclusion Standard-Protokolls liest ein Webcrawler oder Bot beim Auffinden einer Webseite zuerst die Datei robots.txt im Wurzelverzeichnis (Root) einer Domain. In dieser Datei kann festlegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Serverbetreiber haben so die Möglichkeit ausgesuchte Bereiche ihres Servers für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawler angewiesen. Ein Ausgrenzen bestimmter Teile einer Webseite durch das Protokoll garantiert keine Geheimhaltung.

Webcrawler können auch durch HTML Meta-Tags am Indexieren einer Webseite gehindert werden. Auch Meta-Tags sind rein hinweisend, benötigen die Mitarbeit freundlicher Webcrawler und garantieren keine Geheimhaltung. Die Meta-Tags im Seitenquelltext dieser Seite hier lauten:

<meta name="robots" content="index,follow">

 

Dieser Artikel basiert auf dem Artikel Robots Exclusion Standard aus der freien Enzyklopädie Wikipedia und steht unter der GNU-Lizenz für freie Dokumentation. In der Wikipedia ist eine Liste der Autoren verfügbar.

 


Inhalt

Erklärungen zu den wichtigsten Begriffen aus der Welt der Suchmaschinen

Zurück zur Übersicht: "Das Suchmaschinen-Lexikon".

 

Internetrecht-Startseite | Kontakt | Anwälte Internetrecht | Internetrecht-Suchmaschine

Copyright © 2002-2008  Dr. Stephan Ott 

 

 Werbung:

 Ich veranstalte ab dem 1.6.2008 ein Online-Seminar zur Suchmaschinenoptimierung! Mehr Informationen unter http://www.workshopwelt.de/workshop/1442/990.

Ferner können Sie von mir Ihre Website auf den Stand ihrer bisherigen Suchmaschinenoptimierung überprüfen lassen: Links & Law - Suchmaschinenoptimierung / Bayreuth & München.