Suchmaschinenoptimierung und SEO-Beratung

« | Home | »

Robots, Spider oder Webcrawler?

Von Bernhard Heß | 19.September 2009

Als Robots, Spider oder Webcrawler werden von Suchmaschinen erstellte und genutzte Computerprogramme bezeichnet, die automatisiert alle Seiten der Internets durchsuchen und dabei über die auf den einzelnen Seiten gesetzten Links (Verweise) sich von Unterseite zu Unterseite hangeln – wie eine Spinne eben.

Die Crawler erschließen dabei alle Inhalte der einzelnen Seiten, um eine Bewertungsgrundlage für das Einstufen im Ranking der Suchmaschinen zu geben. In einem komplizierten Algorithmus werden alle vorhanden Informationen für das Ranking ausgewertet, von denen relevante Inhalte, gute Seitenstruktur, IP-Popularität und eingehende Links nur einige Faktoren sind.

Webcrawler arbeiten zum größten Teil automatisiert und verfolgen in der Regel sich wiederholende Aufgaben. Die Arbeitsweise ist, dass alle gefunden Adressen in Form der Verlinkungen abgespeichert und der Reihe nach besucht werden. Die Auswertung der einzelnen Unterseiten wird abgespeichert, um die dort vorhanden Informationen für eine eventuelle Suchanfrage nutzen zu können.

Jeder Webseitenbetreiber kann selbst bestimmen, ob er seine Homepage von den Spidern der Suchmaschinen indexieren lassen will, mittels der Datei robots.txt, kann individuell festgelegt werden, welche Seiten öffentlich gemacht werden dürfen.

Ein Bookmark setzen: Diese Icons verlinken auf Bookmark Dienste bei denen Nutzer neue Inhalte finden und mit anderen teilen können.
  • MisterWong
  • Y!GG
  • Digg
  • del.icio.us
  • Facebook
  • MySpace
  • Oneview
  • SEOigg
  • Technorati
  • TwitThis

Autor des Artikels: Bernhard Heß



Bernhard Heß ist selbstständiger Suchmaschinenoptimierer und bloggt über Aktuelles, Trends und Veränderungen rund um SEO. Mehr Informationen auch bei Google+, Twitter und bei Facebook.

Topics: SEO-Lexikon | Kein Kommentar »

Kommentare