Automatische Indexierungssysteme der Suchmaschinen. Diese bewegen sich anhand der Links, die sie auf ihrem Weg finden, von Webseite zu Webseite und nehmen die Informationen, auf die sie dabei stoßen, in ihren Index auf.

robots.txt Textdatei, die im Wurzelverzeichnis des Webservers liegt und in der sich Anweisungen darüber befinden, welche Seiten von Suchmaschinen nicht indexiert werden dürfen.

Backlinks zu dieser Seite: