Comprendre les bots de trafic et comment les stopper

Résumé

Les bots de trafic sont des programmes automatisés qui représentent environ 40 % de l’ensemble du trafic Internet. Si certains bots remplissent des fonctions légitimes, comme l’indexation des moteurs de recherche, l’analyse de données ou la surveillance des droits d’auteur, d’autres sont utilisés à des fins malveillantes, notamment la fraude publicitaire, les attaques par déni de service distribué (DDoS), le scraping et le spam. Les propriétaires de sites web peuvent se protéger contre les bots malveillants en configurant des fichiers robots.txt, en bloquant manuellement les adresses IP suspectes ou en déployant une solution de gestion des bots dédiée qui utilise le machine learning pour s’adapter au fil du temps.

Quelle part du trafic de votre site web provient réellement de personnes ?

Les requêtes de bots web proviennent de machines, non de personnes. Le clic, le commentaire ou la visite que vous pensez provenir d’une personne émanent en réalité d’un programme informatique.

Les bots web ne sont pas intrinsèquement bons ou mauvais. Les ordinateurs peuvent exécuter des tâches répétitives très rapidement, et les bots web peuvent accomplir de nombreuses actions essentielles à vos performances et au suivi. Mais les attaques de bots web peuvent également vous coûter très cher.

Les requêtes de bots Web représentent environ 40 % de l’ensemble du trafic Internet. Les bots sont véritablement présents partout.

Approfondissez ce qui distingue le bon du mauvais. Nous terminerons par quelques conseils que vous pourrez utiliser à la fois pour surveiller et stopper le trafic des bots.

Qu’est-ce qu’un bot de trafic ?

Les accès automatisés au Web proviennent d’un script programmé. Un développeur crée un programme capable de cliquer sur des liens, de télécharger des images ou de gérer d’autres types de tâches simples.

Lorsqu’un programme de ce type est conçu, un développeur peut le lancer sur pratiquement n’importe quel site Web et attendre les résultats sans effort supplémentaire. La plupart des bots fonctionnent quasiment en permanence.

Comment détecter le trafic de bots sur votre site ?

Il est probable que votre site web soit confronté, à au moins un type de bot. À propos de 85 % des sites web qui analysent le trafic, la plupart utilisent Google Analytics à cette fin. Si vous avez installé cet outil sur votre site, recherchez un trafic qui est :

• Énergique. Un bot n’a besoin que de quelques secondes pour parcourir une page. Si votre taux de rebond est extrêmement élevé, il est probable que vous ayez affaire à un bot.
• Approfondi. Un robot de trafic parcourra probablement l’ensemble de votre site, en consultant chaque page une à une.
• Étranger. Si votre site web s’adresse à un public local et que vous constatez soudainement de nombreux visiteurs provenant de régions éloignées, il est probable que vous ayez affaire à un bot. 

Vous pouvez également repérer les bots de trafic en observant leur comportement sur votre site. Si une publication reçoit soudainement des centaines de consultations et que votre section de commentaires se remplit de phrases incohérentes, il est possible qu’un bot soit à l’œuvre.

Bons bots de trafic

Vous avez probablement rédigé votre contenu en pensant aux personnes qui vont le lire, et il peut être difficile d’imaginer que des ordinateurs accaparent l’ensemble de votre trafic. Mais certains bots peuvent être bénéfiques pour vos performances.

Voici quatre exemples de bons bots :

1. Agrégation : ces bots de sites web collectent des données provenant de plusieurs sites et les regroupent sur une seule page. Un bot de ce type pourrait placer votre site web en première page de Google sous la forme d’un « extrait optimisé ». Cela pourrait générer des milliers de consultations par des personnes réelles.
2. Analytique : ces bots de trafic surveillent le nombre de personnes qui visitent votre site, les pages qu'elles consultent, la rapidité de chargement de vos pages, et bien d'autres éléments. Ces données pourraient aider des sites comme Google et Bing à déterminer la valeur de votre contenu.
3. Droit d’auteur : Si une personne s’approprie votre contenu et que vous engagez une action en justice, vous pouvez obtenir jusqu’à 150 000 $ de dommages et intérêts par infraction. Les bots spécialisés dans le droit d’auteur vous aident à détecter rapidement le vol et à prouver que vous avez subi un préjudice.
4. Optimisation pour les moteurs de recherche (SEO) : Les robots d’optimisation pour les moteurs de recherche parcourent chaque page de votre site web et identifient les sujets abordés. Cela aide des sites comme Google et Bing à déterminer quels termes de recherche doivent déclencher vos pages.

Certaines ou toutes ces tâches peuvent être déterminantes pour votre réussite.

Bots malveillants de trafic

Les programmeurs peuvent utiliser des bots de trafic pour attaquer votre site, voler vos ressources ou les deux.

Voici six exemples de mauvais bots :

1. Fraude publicitaire : des bots de trafic programmés pour cliquer sur vos publicités payantes peuvent vider votre compte bancaire. Selon les experts, la fraude publicitaire de ce type coûte aux entreprises environ 35 milliards $ par an.
2. Fraude au clic : des programmeurs et programmeuses peuvent créer des scripts qui chargent de façon répétée une page de votre site web. Cela peut donner l’impression qu’une page web est plus visible qu’elle ne l’est en réalité. Et si votre site web contient un élément embarrassant (comme un communiqué de presse que vous regrettez d’avoir publié), cela pourrait rendre cette page très visible.
3. Déni de service distribué (DDoS) : des bots Web peuvent tenter de charger votre site à de multiples reprises, et l’ensemble de ce trafic risque de surcharger votre serveur et de rendre votre site indisponible. Parfois, les hackers exigent un paiement avant d’accepter de désactiver leurs bots.
4. Scraping : Publiez-vous des adresses e-mail ou des coordonnées sur votre site web ? Des bots de scraping peuvent extraire ces informations et les vendre au plus offrant.
5. Spam : des bots peuvent remplir des formulaires sur votre site web. Elles pourraient inonder votre boîte de réception de messages sans intérêt ou publier des réponses étranges dans votre section de commentaires.
6. Vulnérabilité : Un développeur crée un robot web pour explorer vos pages et rechercher des problèmes de sécurité. Un rapport est renvoyé à un cybercriminel qui peut vous attaquer.

N'importe lequel ou l'ensemble de ces bots malveillants peuvent coûter très cher à votre entreprise.

Comment empêcher les bots malveillants de nuire à votre site ?

Il n’est pas judicieux de bloquer tous les bots sur votre site web. Vous avez besoin de certains des avantages qu’elles proposent. Mais vous devriez tout faire pour éloigner les bots malveillants.

Quelles mesures pouvez-vous prendre pour bloquer les bots malveillants ?

Protéger votre site nécessite une approche multiniveaux ; voici les méthodes les plus efficaces.

Essayez ces trois étapes :

1. Modifier les paramètres de votre site web. Un petit bout de code (un fichier robots.txt) indique aux robots ce qu’ils peuvent ou ne peuvent pas analyser sur votre site. Utilisez-le pour bloquer certaines pages de l’inspection. Mais sachez que seuls les bons bots respectent les règles. Les bots malveillants agiront probablement comme ils le souhaitent, que cela vous plaise ou non.
2. Recrutez un programmeur. Demandez à une personne experte d’examiner vos rapports et d’identifier les adresses IP responsables du trafic généré par des bots. Bloquer ces éléments manuellement à l’aide d’un outil de filtrage.
3. Utiliser un outil. Les solutions de gestion des bots utilisent du code pour empêcher les bots malveillants de semer le chaos. Ces outils utilisent le machine learning, ce qui les rend plus performants au fil de leur utilisation.

Chez Okta, nous proposons une solution de gestion des bots de premier plan. Notre intégration avec Perimeter X empêche les bots malveillants de menacer votre entreprise. Découvrez comment cela fonctionne.

Foire aux questions (FAQ)

Quel pourcentage du trafic internet provient des bots ?

Environ 40 % de l’ensemble du trafic internet provient de bots plutôt que de visiteurs humains, ce qui signifie qu’une part importante de l’activité sur un site web donné peut être automatisée.

Comment pouvez-vous savoir si votre site web est victime de trafic provenant de robots ?

Les indicateurs courants incluent un taux de rebond anormalement élevé (les bots quittent les pages en quelques secondes), un trafic qui explore l’ensemble de votre site page par page ainsi qu’un afflux soudain de visiteurs provenant de régions géographiques que votre site ne cible pas habituellement. Des commentaires ou des soumissions de formulaires incohérents constituent également un signe révélateur.

Tous les bots de trafic sont-ils nuisibles ?

Non. De nombreux bots remplissent des fonctions essentielles, comme aider les moteurs de recherche à indexer votre contenu, surveiller les statistiques du site, détecter le vol de droits d’auteur et améliorer votre référencement. L’essentiel est de faire la distinction entre ces bots bénéfiques et ceux qui sont malveillants.

Quelles sont les conséquences financières des mauvais bots ?

Les bots malveillants peuvent représenter un coût considérable. Les bots de fraude publicitaire à eux seuls coûteraient chaque année environ 35 milliards $ aux entreprises, et les attaques par déni de service distribué (DDoS) peuvent rendre votre site totalement inaccessible — parfois avec des hackers qui exigent un paiement pour y mettre fin.

Un fichier robots.txt protège-t-il entièrement mon site contre les bots malveillants ?

Bien qu’un fichier robots.txt constitue une première ligne de défense utile en indiquant aux robots les pages à éviter, il ne fonctionne que pour les robots respectueux et bien intentionnés. Les bots malveillants ignorent systématiquement ces instructions.

Quelle est la méthode la plus efficace pour stopper les bots malveillants ?

Aucune méthode prise isolément n’est suffisante. La défense la plus efficace associe la configuration du fichier robots.txt pour orienter les bots respectueux des règles, le blocage manuel d’adresses IP afin de cibler les acteurs malveillants identifiés, ainsi qu’un outil de gestion des bots basé sur l’apprentissage automatique qui améliore en continu ses capacités de détection.

Références

• Statistiques d’utilisation et part de marché de Google Analytics pour les sites web. W3 Techs.
• Les bots malveillants représentent désormais 20 % du trafic Web. (Avril 2019). ZDNet.
• Violation du droit d’auteur. Projet de loi sur les médias numériques.
• Rapport CHEQ : le coût de la fraude publicitaire numérique atteindra 35 milliards de dollars dans le monde en 2020. (Novembre 2020). MarTech series