Comment bloquer les bots à l'aide du fichier Robots.txt dans cPanel ?

Robot.txt Le fichier est un simple fichier texte créé sur un répertoire racine de votre site Web qui permet aux robots des moteurs de recherche d'explorer votre site Web pour l'indexer. Le fichier robot .txt contrôle également comment et à quels fichiers les robots doivent accéder, il est donc essentiel de le configurer correctement. Vous pouvez utiliser le fichier robot.txt pour empêcher les robots d'indexer votre site Web dans les moteurs de recherche.

Dans cet article, nous allons vous montrer comment bloquer les bots en modifiant votre fichier robot.txt. Suivez les étapes ci-dessous pour commencer.

1. Connectez-vous à votre compte cPanel.
   
   
2. Ouvrez le gestionnaire de fichiers.
   
   
   
   
3. Créez un nom de fichier robot.txt et ajoutez le code ci-dessous pour bloquer le bot. Ce code bloquera le bot du moteur de recherche Baidu.
   
   

   RewriteEngine On
   RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
   RewriteRule .* – [F,L]
   

   
   
   
   
   
   
4. C'est ça. Maintenant, Baidu ne pourra plus bot votre site Web.