Suchmaschinenoptimierung und SEO-Beratung

« | Home | »

Deep Crawl | Deep Crawling

Von Bernhard Heß | 27.Juni 2011

Deep Crawl ist aus dem Englischen wörtlich als Tiefen-Indexierung ins Deutsche zu übersetzen. Im Bereich Suchmaschinenoptimierung ist unter dem Begriff Deep Crawl das Spidern bzw. Analysieren der „tiefer liegenden“ Unterseiten einer Website durch den Crawler einer Suchmaschine zu verstehen. Als Ergebnis daraus werden diese eigenständig erfasst und in den Index der jeweiligen Suchmaschine aufgenommen. Indexierte „tiefer liegende“ Unterseiten können nicht nur über die Startseite der Website, sondern auch direkt extern verlinkt werden: Über die sogenannten Deep Links. Für den Nutzer einer großen Website hat dieses den Vorteil, dass er bei der Suche nach einem bestimmten Begriff, einem Produkt oder einem Thema schneller die passende Unterseite erreicht. Deep Crawl ist nur bei bereits indexierten Startseiten möglich.

Für eine komplexe Website haben ihre über Deep Crawl indexierten Unterseiten die wünschenswerte Konsequenz, dass die gesamte Webpräsenz komplett indiziert wird. Dadurch kann sie wiederum eine bessere Platzierung in den SERPs erreichen. Zumal dank Deep Links die Startseite einer Homepage, die als deren offizieller Eingang gedacht ist, umgangen werden kann, gab es Bedenken seitens einigen Webseiteninhaber, dass dadurch gegebenenfalls Urheberrechte verletzt werden könnten. Doch diese wurden bereits im Jahr 2003 durch ein Urteil des BGH weggeräumt.

Da beim Deep Crawl sehr viele Unterseiten durchsucht und analysiert werden müssen, ist das Deep Crawling sehr zeitintensiv. Daher wird es durch die Suchmaschinen nicht so oft wie das schnellere Fresh Crawling durchgeführt: Gespidert werden damit neue Webpages nur „oberflächlich“ (wobei die Unterseiten nicht beachtet werden), um Wochen später per Deep Crawl bis zur „untersten“ Ebene analysiert zu werden. Manche Suchmaschinen führen kein Deep Crawl durch, andere wiederum nur in einer maximalen Verzeichnistiefe, so dass sie vielschichtige Webpräsenzen nie bis zur untersten Ebene spidern. Der Branchenriese Google dagegen lässt mit seinem Deepbot Webpräsenzen bis zur tiefsten Ebene spidern, indexiert allerdings nur die Unterseiten, die bestimmte Qualitäts-Kriterien (Linkpopularität, PageRank) erfüllen.

Ein Bookmark setzen: Diese Icons verlinken auf Bookmark Dienste bei denen Nutzer neue Inhalte finden und mit anderen teilen können.
  • MisterWong
  • Y!GG
  • Digg
  • del.icio.us
  • Facebook
  • MySpace
  • Oneview
  • SEOigg
  • Technorati
  • TwitThis

Autor des Artikels: Bernhard Heß



Bernhard Heß ist selbstständiger Suchmaschinenoptimierer und bloggt über Aktuelles, Trends und Veränderungen rund um SEO. Mehr Informationen auch bei Google+, Twitter und bei Facebook.

Topics: SEO-Lexikon | Kein Kommentar »

Kommentare