Traffic-Bots verstehen und stoppen

Kurzfassung

Traffic-Bots sind automatisierte Programme, die rund 40 % des gesamten Internetverkehrs ausmachen. Während einige Bots legitimen Zwecken dienen – wie etwa der Suchmaschinenindexierung, der Analyse und der Urheberrechtsüberwachung –, werden andere für Anzeigenbetrug, Distributed Denial-of-Service (DDoS)-Angriffe, Scraping und Spam missbraucht. Website-Betreiber können bösartige Bots abwehren, indem sie robots.txt-Dateien konfigurieren, verdächtige IP-Adressen manuell blockieren oder eine dedizierte Bot-Management-Lösung einsetzen, die Machine-Learning nutzt, um sich im Laufe der Zeit anzupassen.

Wie viel Ihres Website-Traffics sind tatsächlich echte Menschen?

Web-Bot-Zugriffe stammen von Maschinen, nicht von Menschen. Der Klick, Kommentar oder Besuch, von dem Sie glauben, dass er von einer Person stammt, geht stattdessen auf ein Computerprogramm zurück.

Web-Bots sind nicht von Natur aus gut oder schlecht. Computer können wiederkehrende Aufgaben sehr schnell bewältigen, und Web-Bots können viele Dinge erledigen, die für Ihre Leistung und Ihr Tracking entscheidend sind. Aber Web-Bot-Zugriffe können auch ziemlich viel Geld kosten.

Web-Bot-Zugriffe sind für etwa 40 % des gesamten Internetverkehrs verantwortlich. Bots sind wirklich überall.

Schauen wir uns genauer an, was die Guten von den Schlechten unterscheidet. Wir schließen mit einigen Tipps, die Sie nutzen können, um Bot-Traffic sowohl zu überwachen als auch zu stoppen.

Was ist ein Traffic-Bot?

Web-Bot-Zugriffe stammen von einem programmierten Skript. Ein Entwickler erstellt ein Programm, das Links anklicken, Bilder herunterladen oder eine andere einfache Aufgabe erledigen kann.

Wenn ein solches Programm geschrieben wurde, kann ein Entwickler es auf fast jeder Website ausführen und ohne weiteren Aufwand auf die Ergebnisse warten. Die meisten Bots laufen fast ununterbrochen.

Wie können Sie Bot-Traffic auf Ihrer Website erkennen?

Es ist gut möglich, dass Ihre Website mit mindestens einer Art von Bot zu tun hat. Etwa 85 % der Websites, die den Datenverkehr analysieren, nutzen dafür Google Analytics. Wenn Sie dieses Tool auf Ihrer Website installiert haben, achten Sie auf Datenverkehr, der:

• Federnd. Ein Bot benötigt nur wenige Sekunden, um eine Seite zu überprüfen. Wenn Ihre Absprungrate extrem hoch ist, haben Sie es wahrscheinlich mit einem Bot zu tun.
• Tief. Ein Traffic-Bot wird wahrscheinlich Ihre gesamte Website durchsuchen und dabei Seite für Seite vorgehen.
• Fremd. Wenn sich Ihre Website an eine lokale Zielgruppe richtet und Sie plötzlich viele Besucher:innen aus weit entfernten Orten verzeichnen, haben Sie es wahrscheinlich mit einem Bot zu tun. 

Sie können Traffic-Bots auch anhand ihres Verhaltens auf Ihrer Website erkennen. Wenn ein von Ihnen veröffentlichter Beitrag plötzlich Hunderte von Aufrufen erhält und Ihr Kommentarbereich voller unsinniger Phrasen ist, könnte ein Bot am Werk sein.

Gute Traffic-Bots

Sie haben Ihre Inhalte wahrscheinlich für Menschen geschrieben, und es kann schwerfallen, sich vorzustellen, dass Computer Ihren gesamten Traffic beanspruchen. Aber einige Website-Bots können gut für Performance sein.

Dies sind vier Beispiele für gute Bots:

1. Aggregation: Diese Website-Bots sammeln Daten von mehreren Websites und fassen sie auf einer Seite zusammen. Ein solcher Bot könnte Ihre Website als sogenanntes „Featured Snippet“ auf die erste Seite von Google bringen. Das könnte zu Tausenden von Zugriffen durch echte Personen führen.
2. Analyse: Diese Traffic-Bots überwachen, wie viele Personen Ihre Website besuchen, welche Seiten sie aufrufen, wie schnell Ihre Seiten laden und mehr. Diese Daten könnten Websites wie Google und Bing dabei helfen, den Wert Ihrer Inhalte zu ermitteln.
3. Urheberrecht: Wenn jemand Ihre Inhalte stiehlt und Sie sich entscheiden, rechtliche Schritte einzuleiten, könnten Sie bis zu 150.000 $ Schadenersatz erhalten pro Verstoß. Copyright-Bots helfen Ihnen, den Diebstahl schnell zu erkennen und nachzuweisen, dass Sie geschädigt wurden.
4. Suchmaschinenoptimierung (SEO): Suchmaschinenoptimierungs-Bots durchsuchen jede Seite Ihrer Website und ermitteln, welche Themen Sie behandeln. Das hilft Websites wie Google und Bing festzulegen, welche Suchbegriffe Ihre Seiten auslösen sollten.

Jede einzelne oder alle dieser Aufgaben könnten für Erfolg entscheidend sein.

Bösartige traffic-Bots

Programmierer:innen können Traffic-Bots einsetzen, um Ihre Website anzugreifen, Ihre Ressourcen zu stehlen oder beides.

Dies sind sechs Beispiele für bösartige Bots:

1. Anzeigenbetrug: Traffic-Bots, die darauf programmiert sind, auf Ihre bezahlten Anzeigen zu klicken, können Ihr Bankkonto leeren. Expert:innen zufolge kostet ein solcher Anzeigenbetrug Unternehmen jährlich etwa 35 Milliarden US-Dollar.
2. Klickbetrug: Programmierer können Skripte erstellen, die wiederholt eine Seite auf Ihrer Website laden. Dies könnte eine Webseite prominenter erscheinen lassen, als sie tatsächlich ist. Und wenn Sie etwas Peinliches auf Ihrer Website haben (wie beispielsweise eine Pressemitteilung, die Sie lieber nicht verfasst hätten), könnte dies diese Seite sehr sichtbar machen.
3. Distributed Denial-of-Service (DDoS): Web-Bots können versuchen, Ihre Website wiederholt zu laden, und dieser gesamte Datenverkehr könnte Ihren Server überlasten und Ihre Website unerreichbar machen. Manchmal verlangen Hacker:innen eine Zahlung, bevor sie ihre Bots abschalten.
4. Scraping: Veröffentlichen Sie E-Mail-Adressen oder Kontaktinformationen auf Ihrer Website? Scraping-Bots können diese Informationen abrufen und an den Meistbietenden verkaufen.
5. Spam: Website-Bots können Formulare auf Ihrer Website ausfüllen. Sie könnten Ihren Posteingang mit unsinnigen Nachrichten füllen oder seltsame Antworten in Ihrem Kommentarbereich veröffentlichen.
6. Schwachstelle: Ein Programmierer erstellt einen Web-Bot, um Ihre Seiten zu durchsuchen und nach Sicherheitsproblemen zu suchen. Ein Bericht wird an einen Hacker weitergeleitet, der Sie angreifen kann.

Jeder einzelne oder alle dieser bösartigen Bots könnten ihr Unternehmen viel Geld kosten.

Wie verhindern Sie, dass bösartige Bots Ihrer Website schaden?

Es ist nicht klug, alle Bots von Ihrer Website fernzuhalten. Sie benötigen einige der Vorteile, die sie bieten. Aber sollten Sie alles daransetzen, bösartige Bots fernzuhalten.

Welche Schritte können Sie unternehmen, um bösartige Bots zu blockieren?

Der Schutz Ihrer Website erfordert einen mehrschichtigen Ansatz – hier sind die effektivsten Methoden.

Versuchen Sie diese drei Schritte:

1. Passen Sie Ihre Website-Einstellungen an. Ein kleines Stück Code (eine robots.txt-Datei) teilt Bots mit, was sie auf Ihrer Website durchsuchen sollen und was nicht. Verwenden Sie es, um einige Seiten von der Überprüfung auszuschließen. Beachten Sie jedoch, dass sich nur gute Bots an die Regeln halten. Die schlechten Bots werden wahrscheinlich tun, was sie wollen, unabhängig davon, ob es gefällt oder nicht.
2. Stellen Sie eine:n Programmierer:in ein. Bitten Sie einen Experten, Ihre Berichte durchzugehen und Internetprotokoll (IP)-Adressen zu identifizieren, die für Bot-Traffic verantwortlich sind. Blockieren Sie sie manuell mit einem Filter-Tool.
3. Verwenden Sie ein Tool. Bot-Management-Lösungen verwenden Code, um bösartige Bots davon abzuhalten, Chaos anzurichten. Diese Tools nutzen Machine-Learning, sodass sie umso effektiver werden, je länger Sie sie nutzen.

Bei Okta bieten wir eine hervorragende Bot-Management-Lösung. Unsere Integration mit Perimeter X verhindert, dass bösartige Bots Ihr Unternehmen bedrohen. Erfahren Sie, wie es funktioniert.

Häufig gestellte Fragen

Wie viel Prozent des Internetverkehrs stammen von Bots?

Etwa 40 % des gesamten Internetverkehrs stammen von Bots und nicht von menschlichen Besucher:innen, was bedeutet, dass ein erheblicher Teil der Aktivität auf einer beliebigen Website automatisiert sein kann.

Wie kann ich feststellen, ob meine Website von Bot-Traffic betroffen ist?

Häufige Indikatoren sind eine ungewöhnlich hohe Absprungrate (Bots verlassen Seiten innerhalb von Sekunden), Traffic, der Ihre gesamte Website Seite für Seite durchsucht, und ein plötzlicher Zustrom von Besucher:innen aus geografischen Regionen, die Ihre Website normalerweise nicht bedient. Unsinnige Kommentare oder Formulareinsendungen sind ebenfalls ein verräterisches Zeichen.

Sind alle Traffic-Bots schädlich?

Nr. Viele Bots erfüllen wichtige Funktionen, wie z. B. Suchmaschinen bei der Indexierung Ihrer Inhalte zu unterstützen, die Website-Analyse zu überwachen, Urheberrechtsverletzungen zu erkennen und Ihre Suchmaschinenoptimierung zu verbessern. Entscheidend ist, zwischen diesen nützlichen Bots und den bösartigen zu unterscheiden.

Welche finanziellen Auswirkungen haben bösartige Bots?

Bösartige Bots können äußerst kostspielig sein. Schätzungen zufolge kosten allein Ad-Fraud-Bots Unternehmen jährlich rund 35 Milliarden $. Distributed Denial of Service (DDoS)-Angriffe können Ihre Website vollständig lahmlegen – manchmal fordern Hacker eine Zahlung, um den Angriff zu stoppen.

Schützt eine robots.txt-Datei meine Website vollständig vor bösartigen Bots?

Obwohl eine robots.txt-Datei eine nützliche erste Abwehrlinie darstellt, die signalisiert, welche Seiten Bots meiden sollten, funktioniert sie nur bei regelkonformen, gutartigen Bots. Bösartige Bots ignorieren diese Anweisungen routinemäßig vollständig.

Was ist der effektivste Weg, bösartige Bots zu stoppen?

Keine einzelne Methode reicht für sich allein aus. Die stärkste Verteidigung kombiniert die robots.txt-Konfiguration zur Steuerung konformer Bots, die manuelle Blockierung von Internetprotokoll-(IP-)Adressen zur Abwehr bekannter Angreifer und ein auf maschinellem Lernen basierendes Bot-Management-Tool, das seine Erkennungsfunktionen kontinuierlich verbessert.

Referenzen

• Nutzungsstatistiken und Marktanteil von Google Analytics für Websites. W3 Techs.
• Bösartige Bots machen mittlerweile 20 % des Web-Traffics aus. (April 2019). ZDNet.
• Urheberrechtsverletzung. Projekt Digitales Medienrecht.
• CHEQ-Bericht: Kosten durch digitalen Anzeigenbetrug werden 2020 weltweit auf 35 Milliarden USD steigen. (November 2020) Martech Series.