Qu’est-ce que le trafic de robots, comment détecter les robots et protéger votre projet contre eux

L’article a été préparé avec le développeur Antibot.cloud.

Types de bots et conséquences de leur activité

L’accès au site peut être divisé en trois groupes :

• De vraies personnes se sont connectées au navigateur.
• Bots utiles (par exemple, les robots des moteurs de recherche).
• Les « mauvais » bots qui peuvent endommager votre site.

Les propriétaires de sites Web ne savent même pas combien de bots visitent les pages de leurs ressources. Selon Antibot, le pourcentage de personnes pourrait n’être que de 0,5 % du nombre total de bots. Vous avez sûrement observé des pics de visites ainsi que des visites provenant d’emplacements inhabituels ou d’appareils étranges, en particulier lors de l’étude des rapports de Google Analytics. Très probablement, les bots étaient responsables de ces pics. Par exemple, en 2021, nous avons remarqué une augmentation du trafic sur le blog Moyens I/O à partir d’appareils à faible résolution d’écran. C’est l’une des nombreuses manifestations du trafic de robots.

Les robots peuvent être divisés en deux catégories :

• Bots qui effectuent des actions spécifiques sur le site.
• Des bots qui vont d’un site à un autre. Par exemple, cliquez sur le lien du partenaire sur le site Web du partenaire et accédez à la ressource de la marque.

Le but de ces bots et les conséquences de leur activité peuvent différer.

Trafic de robots sur le site

Robots de recherche (Crawlers)

Les bots de recherche sont les bots des moteurs de recherche. Ils recherchent de nouvelles pages sur le Web, analysent ces pages et aident à les indexer dans la recherche.

Ces robots sont utiles pour le référencement et ne posent aucun problème.

Robots de référencement

Les bots SEO appartiennent à des plateformes SEO (telles que Ahrefs, SEMrush, Serpstat et autres) qui aident leurs utilisateurs à analyser les ressources des concurrents. Les propriétaires de sites Web peuvent utiliser ces données pour améliorer leurs positions de recherche.

Conséquences:

Le seul inconvénient de ces bots est la façon dont ils ralentissent le chargement du site. Si vous n’êtes pas un utilisateur des plateformes de référencement, vous pouvez les bloquer.

Bots pour les facteurs comportementaux de tricherie négatifs

Les bots pour tromper les facteurs comportementaux sont une méthode « grise » pour promouvoir son site dans les résultats de recherche. Sur un site commandé, ces bots simulent des visites de personnes réelles. Par exemple, ils peuvent parcourir différentes pages sur une longue période afin de réduire le taux de rebond.

Pour propulser la ressource commandée au sommet, les bots aggravent les facteurs comportementaux sur les sites qui occupent les premières lignes des résultats de recherche. Ici, au contraire, ils passent peu de temps sur les pages et augmentent le taux d’échecs.

Conséquences:

Votre ressource peut devenir une ressource que les bots tentent de supprimer des premières positions de recherche. En conséquence, votre site peut se retrouver sur les dernières pages de la recherche.

Robots grattoirs

Les grattoirs collectent des données importantes à partir de pages, telles que des adresses ou d’autres coordonnées. Dans certains cas, les analyseurs volent du contenu.

Conséquences:

Votre contenu peut être volé et publié sur d’autres ressources. Dans de tels cas, les articles et les images deviennent moins uniques et, de ce fait, le site peut perdre sa position dans les résultats de recherche.

Analyseurs de vulnérabilité

Ces robots analysent des millions de sites et recherchent des vulnérabilités. Certains d’entre eux signalent des problèmes au propriétaire, tandis que d’autres utilisent cette information en leur faveur.

Conséquences:

Transmettre les informations collectées à un tiers, qui pourra revendre les données ou les utiliser pour pirater des sites.

Télécharger des robots

Les robots de téléchargement sont créés pour télécharger des documents à partir de votre site. Par exemple, des guides gratuits ou des listes de contrôle utiles que les propriétaires de sites Web utilisent comme aimants principaux dans leurs stratégies de marketing.

Conséquences:

Donner une fausse impression sur l’efficacité des matériaux. Supposons que vous ayez des liens partenaires dans votre guide. Vous remarquerez probablement un grand nombre de téléchargements de guides, mais le nombre de clics sur les liens ne correspondra pas à votre conversion moyenne. Ensuite, vous souhaiterez probablement corriger le guide ou modifier l’entonnoir marketing. Cependant, si le nombre de téléchargements est dépassé par les bots, il est peu probable que votre travail de plusieurs jours s’améliore en termes de taux de conversion.

Robots de spam

Les robots spammeurs remplissent des formulaires de contact, envoient des e-mails de phishing et créent des commentaires dépourvus de sens ou liés à la publicité sur les sites Web et les réseaux sociaux.

Conséquences:

Les robots spammeurs s’ennuient rapidement et peuvent nuire à la réputation du site. Vous devez constamment lire leurs e-mails ou modérer leurs commentaires.

Trafic de robots depuis le site

Cliquez sur Robots

Les click bots imitent le comportement des utilisateurs et se livrent à des fraudes, telles que cliquer sur des publicités, des liens de partenaires et d’autres outils.

Conséquences:

Si vous avez une publicité au paiement par clic sur votre site, telle que des bannières AdSense ou des liens partenaires de programmes d’affiliation au CPC (coût par clic), vous serez banni des robots de clic. Les click bots faussent les statistiques sur les programmes CPA (coût par action) partenaires, car ils génèrent beaucoup d’impressions et de clics sur les outils partenaires, mais pas de ventes.

Comment détecter le trafic des bots

1. Examiner les données des systèmes d’analyse

Le projet peut exister pendant des années avec des robots, mais les effets négatifs peuvent ne pas se manifester immédiatement ou être moins perceptibles. Par exemple, parce que le trafic du bot diminuera progressivement avec le temps, la position des pages du site ralentira le développement du projet.

Le nombre de robots inutiles augmente avec la croissance du site. Au fur et à mesure que la ressource devient plus fiable, le nombre de pages et de backlinks augmente en plus du nombre de bots. Par conséquent, la tâche principale du propriétaire du site Web est de détecter le trafic de robots malveillants.

Vous pouvez détecter le nombre de bots par les journaux du serveur : access.log, etc. Vous pouvez également repérer l’apparition de bots à l’aide de Google Analytics. Faites attention aux pics de pages vues, aux taux de rebond élevés, aux durées de session inhabituelles et aux visites provenant d’endroits étranges.

2. Apprenez les statistiques du programme de partenariat sans robots

Si vous gagnez grâce au marketing d’affiliation, gardez à l’esprit que les visites de tous les types de bots sont collectées dans les statistiques des programmes partenaires. Cela déforme l’image de la conversion, car il est difficile d’estimer combien de personnes réelles sont intéressées par votre contenu et cliquent sur les outils de votre partenaire. En raison de statistiques inexactes, vous pourriez prendre la mauvaise décision de travailler avec certaines marques. Par exemple, vous pourriez penser que vous attirez beaucoup de trafic, mais vous n’obtiendrez pas une récompense suffisamment élevée pour votre travail.

Pour rendre les statistiques de nos partenaires plus précises, chez Moyens I/O, nous avons créé un filtre anti-bot unique. Avec lui, vous pouvez exclure le trafic des bots des rapports du programme en un seul clic. Pour ce faire, rendez-vous sur les paramètres du profil dans votre compte, faites défiler vers le bas, cochez la case « Masquer l’activité du bot », puis cliquez sur « Enregistrer ». Tous les rapports de votre compte seront automatiquement mis à jour et afficheront les données affinées.

Vous pouvez en savoir plus sur le fonctionnement de la fonction Moyens I/O dans notre Centre d’aide.

Comment protéger votre projet du trafic de robots et quand commencer ?

Il est important de vérifier régulièrement votre trafic à la recherche de robots malveillants et d’être prêt à tout moment à vous protéger. Même si vous ne remarquez pas encore les effets négatifs, essayez de calculer la quantité de trafic de bot. Si les bots représentent plus de 25% de tout votre trafic, il y a un risque d’avoir des problèmes sur Google. C’est à ce moment que vous devez commencer de toute urgence à protéger votre site Web.

Vous devez comprendre qu’il est impossible de se débarrasser de 100% des bots. Cependant, il existe des services simples qui vous aideront à réduire leur nombre. Ces services enregistreront votre contenu, amélioreront vos positions dans les résultats de recherche, ainsi que protégeront votre publicité et vos liens contre la fraude au clic.

Cloud Flare

CloudFlare protège environ 30 % de tous les sites.

Avantages :

• Met en cache les images, ce qui réduit la charge sur le serveur.
• Si vous configurez trois règles simples, vous bénéficierez d’une excellente protection contre de nombreux bots qui ne prennent pas en charge HTTP2. Ces trois règles sont : les analyseurs de contenu primitifs, les vérificateurs de vulnérabilité et certains spammeurs.
• Vous protège contre les attaques DDoS.
• Tout cela est disponible avec le plan gratuit. Même les services payants de protection contre les attaques DDoS n’ont généralement aucun avantage significatif par rapport à CloudFlare.

Désavantages:

• CloudFlare ne protège pas contre les facteurs comportementaux de triche.

CloudFlare offre de nombreuses options. Par exemple, il est gratuit pour les sites Web personnels et les applications jusqu’à 50 utilisateurs. Si vous avez besoin de fonctionnalités de sécurité plus puissantes, vous pouvez connecter des options payantes à partir de 5 $ par mois.

AntiBot

AntiBot a aidé à résoudre le problème avec les bots sur le blog Moyens I/O. Il a été installé en février 2021 et arrête toutes sortes de bots, y compris ceux qui trompent les facteurs comportementaux. AntiBot peut être utilisé avec CloudFlare.

Lors de la vérification AntiBot, les utilisateurs voient une page similaire à la page CloudFlare pendant 1 à 3 secondes, puis passent automatiquement à la page suivante. Si les utilisateurs ne réussissent pas le test automatique, ce qui se produit dans environ 5 % des cas, ils doivent appuyer sur le bouton.

Avantages :

1. Intégration et réglages faciles.
2. Protection maximale contre les bots masqués par les humains pour améliorer les facteurs comportementaux.
3. Avec AntiBot, les sites ne sont pas interdits et ne changent pas leur position dans les résultats de recherche à cause des bots.
4. Le test est traduit dans les langues les plus populaires et vous pouvez personnaliser cette page.
5. AntiBot protège les publicités des robots fraudeurs au clic et n’interfère pas avec le fonctionnement de ces publicités. Les sites avec AntiBot subissent avec succès la modération dans AdSense (lors de la configuration de votre compte : vous devez ajouter à la liste blanche des bots sur AdSense).
6. Si vous n’avez pas d’expérience dans l’installation de scripts, vous pouvez acheter l’installation et le réglage clé en main moyennant des frais supplémentaires.

Désavantages:

1. Les sites avec AntiBot ne pourront pas faire de publicité sur Google Ads, car il ne sera pas modéré.
2. Ne fournit pas de protection contre les attaques DDoS.

Le coût d’Antibot dépend du nombre de domaines et varie de 25 $ à 99 $ par an. Pour les lecteurs du blog Moyens I/O, AntiBot a préparé un code promotionnel pour plus de 30 jours de la période de test sur un domaine et tous ses sous-domaines. La TP2022 le coupon sera valide pour l’inscription jusqu’au 1er septembre 2023.

Avez-vous déjà détecté des bots sur votre site ? Partagez dans les commentaires comment ces bots ont affecté votre projet et comment vous avez protégé votre site ?