Suchmaschinenoptimierung und SEO-Beratung

« | Home | »

Bots

Von Bernhard Heß | 3.März 2011

Bei Bots handelt es sich um Programme, die festgelegte Prozesse automatisch wiederholen. Die Bezeichnung ist eine Kurzform des englischen Begriffs „robot“. Sie finden im Internet in verschiedenen Bereichen Anwendung und werden in die Kategorien gutartige und bösartige Bots unterteilt.

Gutartige Bots

Bei gutartigen Bots handelt es sich meist um die Indexierungsprogramme von Suchmaschinen wie Google, Yahoo und Bing. Ihre Aufgabe ist es, Webseiten aufzusuchen und die dort vorhandenen Inhalte einzulesen und sie so für die Suchmaschine verwertbar zu machen. Neue Inhalte werden über Links bereits zuvor indexierter Seiten aufgefunden. Für Webseiten ist es eine zwingende Notwendigkeit von Suchmaschinen-Bots aufgesucht zu werden, soll die Seite in den Suchergebnissen der Suchmaschinen auffindbar sein. Ist das nicht oder nur in Teilen erwünscht, lassen sich Suchmaschinen-Bots über eine „robots.txt“-Datei steuern, da sie den Robot Exclusion Standards folgen.

Bösartige Bots

In der Steuerbarkeit der Programme durch den Webseitenbetreiber liegt der Unterschied zwischen gutartigen und bösartigen Bots. Während sich gutartige weitestgehend an die in der robots.txt-Datei für sie festgeschriebenen Regeln halten, werden diese von bösartigen Bots ignoriert. Derartige Programme finden im Netz auf verschiedensten Gebieten Anwendung. So können sie ähnlich den Bots von Suchmaschinen dazu dienen, Informationen zu archivieren. In diesem Zusammenhang sind das Sammeln von E-Mail-Adressen zu Spamzwecken oder das automatisierte Kopieren von Webseiteninhalten bekannt. Ebenso häufig kommen sie bei der Erstellung neuer Inhalte zum Einsatz. Prominent ist hier beispielsweise der von Programmen generierte Linkspam in Gästebüchern, Foren und Blogs, aber auch die Verwandlung bereits vorhandener Texte in vermeintlichen Unique Content über Synonymisierung.

Schutzmaßnahmen gegen Botangriffe

Da die Robot Exclusion Standards von bösartigen Bots missachtet werden, müssen unerwünschte Aktivitäten der Programme anderweitig gestoppt werden. Beliebt ist hier die Auslegung von auf Bots ausgerichteten Fallen, sogenannten Honeypots. Beispielsweise können Verzeichnisse für die Indexierung per robots.txt gesperrt und für menschliche Besucher unsichtbar verlinkt werden. Folgt ein Bot diesem Link, wird die zugehörige IP-Adresse vom Server gesperrt und ein weiterer Botangriff verhindert.

Ein Bookmark setzen: Diese Icons verlinken auf Bookmark Dienste bei denen Nutzer neue Inhalte finden und mit anderen teilen können.
  • MisterWong
  • Y!GG
  • Digg
  • del.icio.us
  • Facebook
  • MySpace
  • Oneview
  • SEOigg
  • Technorati
  • TwitThis

Autor des Artikels: Bernhard Heß



Bernhard Heß ist selbstständiger Suchmaschinenoptimierer und bloggt über Aktuelles, Trends und Veränderungen rund um SEO. Mehr Informationen auch bei Google+, Twitter und bei Facebook.

Topics: SEO-Lexikon | Kein Kommentar »

Kommentare